?

Log in

No account? Create an account

Discreet · and · not · discrete.


Do you want to crack jokes about it or do you want me to go?

Recent Entries · Archive · Friends · Profile

* * *
А что будет, если мы попробуем приблизить градиент случайными векторами?

(проверяю идеи)

КодCollapse )

Предел получается в районе обратного корня из 2. Это разумно ожидать. До косинуса, равного половине, мы добираемся за выборку, равную трети от размерности вектора. Четверть - где-то в районе 7%, пятая часть - 4,7%. Снижая скорость приближения, мы можем уменьшить количество вычислений.

Теперь меня интересует, где будет находиться минимум операций с плавающей точкой для разного разбиения некоторой матрицы коэффициентов.

Мне не нравится градиентный спуск, как его применяют сейчас. Он был придуман, в его современной форме, из-за ограниченности ресурсов (особенно learning rate) и уже довольно давно. У него есть проблемы со значениями и он плохо применим в новых системах (то самое обучение подкреплением). Поэтому я и пытаюсь получить что-то другое. Две вещи, которые мне очень не нравятся, это скорость обучения (learning rate) и обратное распространение ошибок (backpropagation). Обе они подозрительны мне из-за связанной с ними магии - для скорости обучения придумывают вычурные "расписания" (learning rate cosine schedule, например), обратное распространение ошибок требует хитрых приведений (batch normalization, ADAM и тп), чтобы оно обучало более-менее быстро на современных данных.
* * *
* * *
Совершенно нет сил в них участвовать. Чего и всем желаю.

(подсказка: если есть силы участвовать в дискуссиях, есть силы и не участвовать в них)

* * *
В 1907 году у находившегося в эмиграции революционера и мыслителя Александра Александровича Богданова поехала крыша и он создал новое псевдомарксистское учение: "богостроительство", в котором умудрился скрестить на основе махизма христианство, гностицизм и, собственно, марксизм. Так как Богданов был человеком авторитетным в революционной среде, язык у него был подвешен, а "махизм" как раз вошел в моду, то очень скоро ему удалось сколотить группу единомышленников, куда втянул Луначарского и Базарова. С деньгами у них всех было туго и они решили окучивать Горького, который в то время жил на Капри с гражданской женой Андреевой.
Алексей Максимыч повелся, подсел на "богостроительство", притащил эту шоблу на Капри и платил за них в кафе. Андреева, будучи теткой трезвой и рассудительной, вмиг раскусила этот "проект" и решила лечить Максимыча Лениным. Заставила пригласить Ильича в гости.

В 1908 году Ленин приехал на Капри вправлять мозги лучшему пролетарскому перу.
Троица "богостроителей", понимая чем пахнет, решила ни на минуту не оставлять Горького наедине с Лениным и сообща мочить этого лысого в диспутах.
Read more...Collapse )
* * *
* * *
* * *
Эволюция в доступном нам мире протекает медленно, но не потому, что она всегда такая, а потому, что мы наблюдаем только часть мира и изменения в этой части медленные.

Скорость эволюции, которую можно кратко оценить по замене одного "ведущего" вида на другой, разнится и, обычно, скачкообразна. "Давление" изменений накапливается и в один прекрасный момент происходит "эволюция".

Беря в пример человека, его способность пить молоко во взрослом возрасте - имеется не у всех людей, возникла не очень давно, заметно и, главное, быстро изменила возможности приспособления симбиоза людей и скота. На взгляд ничего не подозревающего наблюдателя это может выглядеть "генной инженерией".

Ну, и главная теорема генетических алгоритмов в том, что если у какого-то поведения есть преимущество, после большого количества испытаний оно проявится, как ведущее.
* * *
или Add-Rotate-Xor - базовые блоки построения криптографических функций, от поточного шифрования до криптосумм (пример SipHash).

Я тут с этим экспериментирую, пока болею.

Пока вывод один - любая константа важна. Вроде бы, вращать на 17 позиций должно быть неважно, в какую сторону, однако практика показывает, что это не так.

* * *
Применение лазера для печатания плат: https://www.youtube.com/watch?v=Z228xymQYho

Лазером плавят оксид меди в медь.

Интересно сравнить характеристики, особенно по затратам энергии.

* * *
С удивлением обнаружил, что Пежо 408 2013 года выпуска ощущается более энерговооружённым, чем Мерседес CLA200, гораздо более свежий. В связи с ремонтом нашего Пежо, дважды возил семью на дачу на Мерседесе от Белки. И вроде всё ничего, но когда пересел обратно, то был удивлён, насколько же Пежо с его 120 силами "быстрей" 154-сильного Мерседеса. А если учесть размеры пассажирских мест, то Пежо это просто чудо какое-то.

Езжу на велосипеде на-работу-с-работы. Расстояние у меня 14 км, начал с времени в 56 минут туда и 53 обратно. Недавно сократил время "туда" до 53 минут, а обратно уже смог добраться за ~48 минут. Карты Яндекса считают, что на этот маршрут я должен тратить час и четыре минуты.

В обеих направлениях больше половины пути я еду по набережной, туда против течения и обратно по течению. Вроде бы, уклон небольшой (сколько там у Москвы-реки течения-то), однако вот она, разница-то.

Ещё очень мешают пробки. Водители, почему-то, стараются прижать машину вправо как можно сильнее. Поэтому приходится уворачиваться от зеркал, опираясь на тротуар или бордюр.

Зато у меня теперь давление улучшилось (аж до 116 на 85 в день рекорда выше) и теперь 140 на 90 у меня относительная редкость, а выше уж просто не упомню. Пульс в покое упал до 56-57, когда организм уже восстановился. Не 39 Ланса Армстронга, но тем не менее.

На работе у меня сплошной C++, а на сторонние проекты не хватает времени. Надеюсь, удастся, всё-таки, что-то пописать не по работе. Или, хотя бы, поиграть самостоятельно.

Кстати, Принцип Талоса очень хорош. Мой коллега по работе как-то сказал, что даже труп может добавить интересного в игровой процесс, если его хорошо и красиво сделать и добавил что "в ... (имя игрушки я забыл) труп был настолько забавен, что я его минут сорок по уровню таскал". Так вот, в Принципе Талоса труп цивилизации настолько хорошо сделан, что... мы с сыном с удовольствием играли с ним. ;)

Принцип Талоса не успевает надоесть к концу. А последний уровень в Башне вообще чудо - апофеоз, каким он должен быть.
* * *

Previous