?

Log in

No account? Create an account

Discreet · and · not · discrete.


Do you want to crack jokes about it or do you want me to go?

Recent Entries · Archive · Friends · Profile

* * *
Начинается со сцены крушения чужого корабля, двигатели которого (штука, которой, обычно, изображают двигатели) направлены по движению судна.

Стоит ли смотреть дальше?

* * *
Вот уж совсем иностранная страна!

Надо сказать, что в создании ощущения роскоши по-европейски китайцы не преуспели (и это слабо сказано - в роскошном номере на верхнем этаже не было горячей воды в раковине умывания и из туалета попахивало). Но вторую часть поездки меня не покидало ощущение, что китайская роскошь это мелкие повседневные удачи и успехи обычных людей.

Например, великолепный чай каждый день. Такого плана что-то.

А решил я этот пост написать вот поэтому. Из того, что я наблюдал в Китае, это соответствует национальному характеру. ;)
* * *
Стыдобища.

Самое большое игровое разочарование за всю мою жизнь.

* * *
Колесо в живой природе существует только в микромире - жгутики у бактерий и красные кровяные тельца.

А в макромире нет. И его пришлось изобретать, сравнивая с четырьмя ногами животных.

Но это всё философия.

Короче говоря, подражать природе можно, но путь человеческой мысли, это, скорее, путь колеса или винта или турбины самолёта.

* * *
Итак, при оптимизации сложных функций наподобие современных сетей есть проблема исчезающе малого изменения (vanishing gradient problem). Современные методы градиентного спуска справляются с ней путём изменения весов при коэффициентах - после вычисления вектора градиента он поэлементно домножается на вектор весов, который в разных вариантах считается по-разному, но назначение у него всегда одно, это понижение изменений в сильно меняющихся переменных.

В предыдущей серии я поборол эту проблему, введя массы частиц - вектор параметров интерпретируется, как вектор одномерных координат частиц, - чем дальше от выхода параметр, тем меньше масса частицы, связанной с параметром. В результате я получил приятное ускорение процесса оптимизации. заветные 94% точности на PenDigits процесс начал достигать за 80 итераций, против 130-150 без масс частиц.

Однако это решение не так, чтобы очень хорошо. Для вычисления массы надо знать структуру задачи, а в некоторых случаях это практически невозможно. Самый простой пример это тренировка рекурсивной сети, где происходит разворот сети во времени и, в некоторых случаях, разворачивание может произвольным.

Поэтому я взял финт ушами из природы - я ввёл скорость света, как предельную скорость изменений.

Предварительные эксперименты показывают, что такой подход вполне работает в начале оптимизации, когда перемещения велики. Позже, когда веса более-менее устаканиваются, он перестаёт работать. Надо ещё эксперименты провести.

Плюс, множитель Лоренца включает в себя корень квадратный, а он определён для положительных подкоренных выражений. И если у меня из-за неточности вычислений подкоренное выражение становится отрицательным, то могут возникнуть ошибки, корректировка которых также может привести к ошибкам точности. Такое ещё возможно для 1/f(t) - надо смотреть, чтобы делитель не пересёк 0.

В общем, прогресс есть, и довольно интересный.

А ещё у меня возникает вопрос - не меняется ли у нас скорость света в нашем физическом мире? ;)

Если я правильно все понимаю, она должна уменьшаться. ;)
* * *
* * *
К моему предыдущему посту.

Как известно, чем дальше матричное умножение от выходов сети, тем меньше изменений они претерпевают на каждом шаге обучения. Это известная проблема пропадающего градиента.

В моей исходной формулировке веса были представлены частицами с одинаковой массой (равной единице). Поэтому сеть училась, но долго. А когда я добавил возможность иметь произвольную массу при коэффициентах и сделал ее экспоненциально возрастающей от входов к выходам, то скорость обучения возросла. Например, первый шаг обучения в старом варианте уменьшал процент ошибки до 75%, а в новом уменьшает до 53.

Сейчас думаю, как ещё подойти к этой проблеме, чтобы не задавать массы изначально, ведь формула может быть произвольно сложной.
* * *
Игра «Свидетель» гениальна в своей задумке и очень слабая в мобильной версии. В некоторых местах надо смотреть на предметы под разными углами и на айпаде это просто невозможно. В мобильной версии нет даже действия «присесть»!

Однако за ощущение «Ага! Вот, как!» после решения очередной головоломки смело можно давать приз. ;)

Получил некий интересный результат в моих экспериментах с оптимизацией через Лагранжиан. Думаю, скоро поделюсь. Пока проблема в том, что мой комп для программирований-хобби сломался, я использую чужой, а у него и памятью, и ср всем другим тоже плохо. И неохота создавать новый ключ для гит-Абакан.
* * *
Все-таки Чапаев и Пустота это вершина Пелевина.

Худрук нужен, да.

* * *
лучший за последние 10 лет роман Пелевина продался в 2017-м космическим тиражом 48 тыс. экз. И что трэшевая литература, традиционно пользующаяся популярностью, ненамного его обогнала (Маринина 52 тыс., Устинова 81 тыс., и это потолок для всех).

А в том, что сушёные «Цветы для Элджернона» Даниэла Киза (1959) в том же благословенном 2017-м продались в России 235 250 экз. «Шантарам» Грегори Робертса (2003) - 206 231 экз. И, наконец, архивный «1984» Оруэлла (1949) - 46 000 экз.



https://tbv.livejournal.com/4474906.html
Отож. Не надо возрождать никакие медитативные традиции. Надо учиться писать.
Всего лишь. И читатели это оценят во всех смыслах.
Может, тогда не придется великим русским писателям современности открывать линии одежды, смогут прожить со своих книг.
* * *
* * *
* * *

Previous