with Cat The Cat

Секретные Материалы

Пятый сезон, пятая серия.

Дамы и господа, это, копать-колотить, настолько странная штука, что у меня приличных слов для выражения восхищения нет!

И если я всё правильно понимаю, всё снятое до него, является подводкой, своего рода. Если бы не каменная серьёзность предыдущих серий, эта не была бы настолько восхитительной.
with Cat The Cat

Тренировка нейросетй без распространения ошибок.

Раз: https://arxiv.org/pdf/1908.01580.pdf
Два: http://proceedings.mlr.press/v48/taylor16.pdf
Три: https://arxiv.org/pdf/1910.01526.pdf

В первой и третьей статьях тренируют нейросети послойно (в некотором приближении), уменьшая потери относительно выхода. В третьей сети это непосредственный процесс уменьшения ошибки предсказания выхода, в первой - уменьшают некоторую статистическую оценку между выходом уровня сети и входом и выходом сети в целом.

Вторая статья использует, можно сказать, распространение ошибок, но в режиме оптимизации по всему объёму данных - по всему объёму тренировочных данных, не на очередной выборке (batch) из тренировочного объёма.

Распространение ошибок выполняется через вычисление наименьших квадратов по всему набору тренировочных данных, уменьшая ошибку между текущим входом уровня нейроcети и ожидаемым предсказанием. Поэтому второй метод требует большого количества узлов - надо где-то хранить вычисленные входы, чтобы создавать задачи наименьших квадратов.

Самое интересное во второй статье на странице 8: метод обратного распространения ошибок (backpropagation) заканчивает там, где метод второй статьи (ADMM) начинает работу. Да и сопряжённый градиент не отстал.

Поэтому я читаю такие странные вещи. Несмотря на относительную дешевизну, метод обратного распространения ошибок требует значительного внимания к скорости обучения (learning rate), качеству выборки данных из тренировочного набора и многому другому. В некоторых случаях достаточно хорошего способа выборки примеров просто нельзя найти, например, с рекуррентными сетями.

Вдогонку: https://arxiv.org/pdf/1409.5827.pdf - как вместо сложных статистических вычислений использовать невероятно параллельные.
with Cat The Cat

Оба-на!

entre preneur - "между покупателями", насколько я могу судить.

Перекупщик, не предприниматель.

Право слово, переводишь иностранное слово на русский - наиболее часто либо чушь ненужная, либо просто вредное.
with Cat The Cat

На память.

https://concatenative.org/wiki/view/Exotic%20Data%20Structures

На сайте, посвящённом соединительным языкам, есть раздел про экзотические структуры данных.

Меня там особо интересует массив, разбитый на √N подмассивов, это самая первая часть раздела. На нём можно оптимально (по словам авторов) реализовать очередь с сортировкой (priority queue), а это открывает интересные возможности.

Ещё в этой структуре количество разбиений √N, что роднит её с прозрачными-для-кеша (cache-oblivious) структурами данных (некоторыми, не всеми).

PS
Твиттер мне перестал нравиться, как средство выражения мыслей. Надо больше писать сюда.
with Cat The Cat

Питер Уоттс и Секретные Материалы.

4-й сезон Секретных Материалов содержит серию про человека-из-рака, которому для существования был нужен рак других людей. Сравните с С-белком вампиров Уоттса.

(Другая его способность напоминает Малыша из Стругацких; Но!)

Сейчас смотрю серию, где убийца мог создавать слепые пятна в глазах людей. Сравните с девятилучевыми, что ли, обитателями Роршаха Ложной Слепоты.

Уоттс вторичен, как лепешка коровы постмодерниста.

На данный момент 15 серия четвёртого сезона потрясла меня больше всего. Я даже досмотреть не смог.
with Cat The Cat

Секретные Материалы

Решил приобщиться.

Уровень не очень, однако со временем улучшается.

Из совсем уж интересного, в 14-ом эпизоде второго сезона им оставил записку "прощайте! было приятно с вами работать" не кто иной, как дьявол, насколько я понимаю.
with Cat The Cat

Увидел у ru_teacher.

https://demkristo.livejournal.com/3535337.html - про травлю детьми детей и взрослых.

Я вспомнил "Республику ШКИД", там это хорошо разобрано, как и почему.

Условно, если нет занятия интересней, то будет и травля тоже. Такое "интересное занятие" может быть обеспечено родителями или самим учителем ("а вот что такое глобус, вам сейчас и расскажет Светлана Ивановна").
with Cat The Cat

Хромая судьба

Мокрецы в подпроизведении этого произведения не могут жить без чтения.

В настоящий момент зависимость от смартфонов вполне доступный в ощущениях факт. Иногда просто ужасный, смею заметить.

Так вот, если мокрецы есть пришельцы из будущего, и исправляют детей, чтобы в будущем самих мокрецов не было (одно из толкований сего произведения), то они явно из будущего, где выработка организмом допамина без внешней стимуляции (в романе это чтение, в нашем настоящем - смартфоны и соцсети) затруднена.

На этом всё.