April 3rd, 2021

with Cat The Cat

пЕСР

пЕСР расшифровывается, как "приблизительная Естественная Стратегия Развития". По английски это aNES - approximate Natural Evolution Strategy.

ЕСР это "давайте наберём случайных отсчётов и вычислим по ним изменение параметров распределения вероятности, используя естественный градиент". Последний определён, как градиент, умноженный на матрицу, обратную матрице Фишера, которая, в свою очередь, определена, как сумма внешних произведений градиента параметров распределения логарифма вероятности в некоей точке.

Две находки за сегодня:

Второе было ясно и без меня (на это указывается в исходной статье про ЕСР). Но вот первое оказалось весьма интересным - понятно, что градиенты вероятности и логарифма вероятности сонаправлены, однако они должны иметь совершенно разные длины. Разительно разные.