with Cat The Cat

Не йронки.

https://github.com/thesz/higgs-logistic-regression

Взял HIGGS dataset, натравил на него логистическое приближение (logistic regression) с оптимизацией методом последовательно перевзвешенных наименьших квадратов (Iterated Reweighted Least Squares) и получил для всего 29 коэффициентов точность, сравнимую с точностью нейронки с одним скрытым слоем в 300.

После чего взял, и добавил к исходным значениям ещё и их квадраты (соединив вектора входов и квадратов). Использовал тот же метод и получил точность в 66%. На 57 коэффициентах.

Вопросы? ;)
with Cat The Cat

Из ЖЖ, ленты друзей.

https://domestic-lynx.livejournal.com/240586.html

"А то, что не просто доступно всем, но и принудительно впихивается всем и каждому – то теряет ценность."

В случае образования ценность не в недоступности, а в общем уровне. Если во всех напихали примерно одно и то же, то это лучше, чем заметная разность. Если я с ПТУшником могу поговорить про теорию вероятности в рабочем разговоре, то наше совместное планирование будет разнообразней и, возможно, лучше.

Далее, я считаю неверным экстраполировать на всех вообще слабое желание учиться двоечников и лоботрясов.

Ну, и третье - "отстали навсегда" это следствие отсутствия интереса у высшего руководства, что не выделило средств на неотставание, не школа 20-летней давности.
with Cat The Cat

Doom Eternal

https://www.youtube.com/watch?v=01nJjaKlJhU

Это что-то с чем-то!

Жаль, компьютер не тянет, поэтому смотрю ролики. ;)

Видео напомнило мне про режим New York Minute из второго Макса Пейна. Там надо было продержаться как можно дольше, на одном из уровней против всё чаще прибывающих врагов. Я на нём смог продержаться, однажды, больше пяти минут и это было необычно - по окончании я чувствовал, одновременно, и восторг и явное противление восторгу, поскольку я не понимал, как мне это удалось.
with Cat The Cat

Связь.

"Стоимость исправления дефекта программы пропорциональна времени между внесением дефекта и его обнаружением" переводится на русский язык, как "взял и попользовался - положи на место, другим и тебе проще будет".

Навело воспоминаниями про серию push ax/push bx/push cx и соответствующие pop cx/bx/ax в статье TechHelp (гипертекстовая программа помощи по MSDOS) про резидентные программы, что ли. Там к этим сохранениям-восстановлениям был комментарий "good housekeeping".
with Cat The Cat

Перевернутый крест

это символ смирения, насколько я знаю.

https://ru.wikipedia.org/wiki/%D0%9A%D1%80%D0%B5%D1%81%D1%82_%D1%81%D0%B2%D1%8F%D1%82%D0%BE%D0%B3%D0%BE_%D0%9F%D0%B5%D1%82%D1%80%D0%B0

"Происхождение данного символа связывается с церковным преданием о том, что апостол Пётр был распят на кресте вниз головой по своей собственной просьбе, поскольку считал себя недостойным умереть той же смертью, какой умер Иисус Христос. В связи с тем, что Пётр считается основателем Католической церкви, данный символ изображён на троне Папы Римского."

(смотрю 17 серию 5-го сезона Секретных Материалов)
with Cat The Cat

Связь всего со всем,

https://lex-kravetski.livejournal.com/658115.html (из комментария)

"Критика капитализма в творчестве при господстве капитализма это как Ламборджини в деревне" и далее по тексту мема про Хаскель.

Если искусство дополняет жизни людей, то вот и причина наличия критики - дополнение жизней до... Это означает, что прочитав книгу с критикой капитализма, кто-то будет чувствовать себя, скажем так, "лучше". В частности, "лучше" понимать действительность - в кавычках здесь потому, что трудно оценить улучшение.

Это не означает, что кто-то будет что-то менять, прочитав критику, это важно. Он просто будет чувствовать себя по другому. Как с пресловутым Ламборджини выше.

Отличие от СССР, как я понимаю, в разнице между 1/6 суши (и 1/20 населения) и 5/6 суши и 19/20 населения. Действия внутри СССР по изменению порядка в СССР были бы поддержаны 19/20 населения Земли. А изменения внутри США будут поддержаны кем?.. Даже Китай это всего лишь пятая часть населения Земли.
with Cat The Cat

Секретные материалы

5-й сезон, 11 серия.

Про искусственный интеллект, что убил своего создателя.

На 21-й минуте явное напоминание о ещё не существующем ИИ сериала В Поле Зрения - самое его завершение, когда выяснилось, что он прячется в узлах системы электроснабжения США.

Я до этого (в седьмой серии) опознал серию будущего сериала Агентов Щита, про планету, где прятался умеющий управлять мутантами мутант.

Право слово, плохо иметь хорошую память. Помнишь время, когда ничего не болело и ничего нового не происходит.
with Cat The Cat

Про word2vec.

Word2vec это способ вычисления "вложений" (embeddings) для слов, основываясь на их окружении в тех местах, где они встречаются.

Его можно считать прямым использованием "дистрибутивной семантики" - смысл слова определяется его типичным окружением.

Технически это нейросетка с двумя нелинейностями и двумя полностью связанными уровнями. Первая нелинейность это гиперболический тангенс или что-то в этом роде, вторая нелинейность, обычно, softmax или сигмоид.

Есть два режима использования word2vec - предсказание непрерывного словесного окружения по слову (continuous skipgram) и предсказание слова по непрерывному словесному окружению (continuous bag of words, CBOW). В первом случае мы по слову предсказываем несколько слов из его окружения, во втором случае мы предсказываем слово по нескольким словам из окружения.

В первом случае у нас на входе слово, закодированное 1-из-N, на выходе - несколько слов, закодированных 1-из-N (softmax) или "кодированный двоичным кодом индекс слова по порядку возрастания частоты" (несколько сигмоидов на слово). Во втором случае у нас на входе сколько-то слов, кодированных так или эдак, на выходе - 1-из-N (softmax).

В первом случае вложения это строки матрицы первого полностью связного преобразования (прошу обратить внимание - там было 1-из-N), во втором случае вложения это строки матрицы второго полностью связного преобразования (снова 1-из-N).

(интересно здесь то, что "начало фразы" и "конец фразы" могут быть словами словаря и для них также может быть вычислены вложения)

Что интересного в этих вложениях?

Если использовать расстояние по косинусу угла между вложениями, то сходные слова будут расположены близко друг от друга. В частности, кластеризация через k-means (которая в исходном пакете word2vec есть из коробки) для предсказания окружения по слову давала интересные классы слов - в одном были прилагательные одного склонения, в другом - другого, и кластера слов ещё и делились по смыслу - вот в этих классах про положение на карте, а вот в этих про бытовую и электронную технику. Что интересно, разные режимы тренировок давали разные кластера и, по словам статьи, отличаются точностью решения языковых задач.

В исходной статье про word2vec давался алгоритм решения простых аналогий: чтобы вычислить "А относится к Б, как В относится к Х", надо было решить простую задачу Х=БлижайшееПоКосинусу(Вложение(Б)-Вложение(А)+Вложение(В)).

Товарищи из Фейсбука пошли чуть дальше (fasttext). В их работе слова разбиваются на части и вложения вычисляются не для слов, а для частей (n-grams - слово "будда" может быть разбито на триграммы "^бу", "удд", "дда" и "да$"). Вложение слова вычисляется простой суммой вложений частей. Таким образом, если для редко (менее 5 раз, обычно это в районе половины процента корпуса, опечатки и тому подобное) встречающихся слов word2vec не мог определить вложения, то фейсбучный подход позволяет и вложения определить, и сами слова использовать для вложений.

Далее с этими вложениями можно делать разное, у них же есть структура, что может быть использована нейросетями.

Можно сделать извлечение смысла, вычисляя вложение текста (например, сверточными сетями) и вычисляя из вложения текста краткое его содержание (encoder-decoder). На входе много слов текста, на выходе вектор размера M (вложение текста), из которого как-то (хоть простым полностью связным слоем) вычисляется несколько векторов-вложений слов смысла текста (см. выше про вложения для "конца фразы").