?

Log in

No account? Create an account

Discreet · and · not · discrete.


Do you want to crack jokes about it or do you want me to go?

Recent Entries · Archive · Friends · Profile

* * *
Добился устойчивого давления 125 на 75, при пульсе в покое 57 плюс-минус 2 (сегодня аж до 53 дошло).

Мне нравится. ;)

* * *
Мне не понравилась.

Примерно день на четвёртый местная еда навеяла мне ассоциацию разговора с глуховатым человеком - сперва "какая прелесть! всё четко слышно" а через некоторое время "что ж ты орёшь всё время". Острота еды начала надоедать.

Место, где мы жили, и место, где мы "работали", находились, практически, прямо по разные стороны площади Гангнам и, примерно, на одном расстоянии от неё. Поскольку я решил всё время в Корее ходить пешком, я ежедневно проходил через эту площадь. В сумме должно было получиться девять километров в день, но иногда я брал Юбер - когда холодно было, или когда мало спал. В результате получилось, примерно, семь километров в день, что тоже неплохо.

Сеул стоит на высоких холмах и поэтому один день в Корее у меня выделяется подъёмом на 110 этажей - я искал ресторанчик, который был отмечен в гугле, но на самом деле его не было. Вообще, сервис карт гугля работал в Сеуле через пень-колоду, я им пользовался для понимания, приближаюсь ли я к искомой точке, или нет.

Дней четыре-пять из моего пребывания в Корее воздух был пыльным. Китай, с его отоплением углём, портит воздух всем восточнее него, выхлопы долетают до Тихоокеанского побережья США, если что.

Корейцы такие же грубияны в обычной жизни, как и другие народы. Практически ежедневно случалась ситуация, когда какой-нибудь кореец шёл встречным мне курсом, глядя в глаза, и если не уступить дорогу, то уж плечами-то мы точно столкнёмся. Класс.

В районе Гангнам нет ни одного места "высокой жизни", в отличии от центров европейских и американских городов. Вот "финансовый центр Гангнам" и рядом с ним забегаловка с палочками рисового пудинга и жареной курицей.

Они недопекают хлеб! Даже в ресторане европейской кухни со стейками целым куском (то ещё приключение отыскать такой). Даже пицца недопеченая.

Местные программисты про Haskell не слышали. ;)

В общем, рекомендовать не могу. ;)
* * *
А что будет, если мы попробуем приблизить градиент случайными векторами?

(проверяю идеи)

КодCollapse )

Предел получается в районе обратного корня из 2. Это разумно ожидать. До косинуса, равного половине, мы добираемся за выборку, равную трети от размерности вектора. Четверть - где-то в районе 7%, пятая часть - 4,7%. Снижая скорость приближения, мы можем уменьшить количество вычислений.

Теперь меня интересует, где будет находиться минимум операций с плавающей точкой для разного разбиения некоторой матрицы коэффициентов.

Мне не нравится градиентный спуск, как его применяют сейчас. Он был придуман, в его современной форме, из-за ограниченности ресурсов (особенно learning rate) и уже довольно давно. У него есть проблемы со значениями и он плохо применим в новых системах (то самое обучение подкреплением). Поэтому я и пытаюсь получить что-то другое. Две вещи, которые мне очень не нравятся, это скорость обучения (learning rate) и обратное распространение ошибок (backpropagation). Обе они подозрительны мне из-за связанной с ними магии - для скорости обучения придумывают вычурные "расписания" (learning rate cosine schedule, например), обратное распространение ошибок требует хитрых приведений (batch normalization, ADAM и тп), чтобы оно обучало более-менее быстро на современных данных.
* * *
* * *
Совершенно нет сил в них участвовать. Чего и всем желаю.

(подсказка: если есть силы участвовать в дискуссиях, есть силы и не участвовать в них)

* * *
* * *
В 1907 году у находившегося в эмиграции революционера и мыслителя Александра Александровича Богданова поехала крыша и он создал новое псевдомарксистское учение: "богостроительство", в котором умудрился скрестить на основе махизма христианство, гностицизм и, собственно, марксизм. Так как Богданов был человеком авторитетным в революционной среде, язык у него был подвешен, а "махизм" как раз вошел в моду, то очень скоро ему удалось сколотить группу единомышленников, куда втянул Луначарского и Базарова. С деньгами у них всех было туго и они решили окучивать Горького, который в то время жил на Капри с гражданской женой Андреевой.
Алексей Максимыч повелся, подсел на "богостроительство", притащил эту шоблу на Капри и платил за них в кафе. Андреева, будучи теткой трезвой и рассудительной, вмиг раскусила этот "проект" и решила лечить Максимыча Лениным. Заставила пригласить Ильича в гости.

В 1908 году Ленин приехал на Капри вправлять мозги лучшему пролетарскому перу.
Троица "богостроителей", понимая чем пахнет, решила ни на минуту не оставлять Горького наедине с Лениным и сообща мочить этого лысого в диспутах.
Read more...Collapse )
* * *
* * *
Эволюция в доступном нам мире протекает медленно, но не потому, что она всегда такая, а потому, что мы наблюдаем только часть мира и изменения в этой части медленные.

Скорость эволюции, которую можно кратко оценить по замене одного "ведущего" вида на другой, разнится и, обычно, скачкообразна. "Давление" изменений накапливается и в один прекрасный момент происходит "эволюция".

Беря в пример человека, его способность пить молоко во взрослом возрасте - имеется не у всех людей, возникла не очень давно, заметно и, главное, быстро изменила возможности приспособления симбиоза людей и скота. На взгляд ничего не подозревающего наблюдателя это может выглядеть "генной инженерией".

Ну, и главная теорема генетических алгоритмов в том, что если у какого-то поведения есть преимущество, после большого количества испытаний оно проявится, как ведущее.
* * *
или Add-Rotate-Xor - базовые блоки построения криптографических функций, от поточного шифрования до криптосумм (пример SipHash).

Я тут с этим экспериментирую, пока болею.

Пока вывод один - любая константа важна. Вроде бы, вращать на 17 позиций должно быть неважно, в какую сторону, однако практика показывает, что это не так.

* * *

Previous · Next