Основные шаги и краткие советы для заказчиков и фрилансеров

Бесплатные автоматы

После выполнения каждого действия среда немедленно возвращает сигнал обратной связи. Эта обратная связь принимает форму скалярного числового значения, которое может рассматриваться как оценка действия, поэтому и применяется термин оценочная обратная связь. Вознаграждение во время с обозначается как гс (и то, и другое выражается вещественными числами). На интуитивном уровне можно предположить, что благоприятное действие получает положительную обратную связь, а неблагоприятное — отрицательную обратную связь. Фактически для алгоритмов обучения диапазон значений обратной связи не яаляется существенным, при условии, что эти значения позволяют выражать различные уровни производительности.

В рассматриваемом примере с гранатой обратная связь может определяться тем, сколько участников игры получили ранения. Если ни один из этих участников игры не получил повреждений, обратная связь равна 0 (в этом случае отрицательные значения не применяются). Сигнал обратной связи, поступающий из среды, принято также называть сигналом вознаграждения. Из того, что применяется сам термин сигнал, следует, что данные, получаемые из среды, могут контролироваться во времени. Подобные графики в проблематике обучения на besplatnye-avtomaty-vulcan.com с подкреплением встречаются довольно часто, поскольку достаточно бросить на них один взгляд, чтобы узнать производительность агента.

В некоторых случаях вознаграждение, связанное с действием, может не предоставляться немедленно. Вполне естественно, что такие вознаграждения именуются отсроченными! В большинстве алгоритмов обучения с подкреплением к цели могут вести длинные последовательности действий, поэтому понятие отсроченного вознаграждения является важным. Алгоритмы должны связывать отсроченное вознаграждение с действиями, которые приводят к непосредственному вознаграждению.

Отказ от применения итерационного усовершенствования. Оценки значений состояния вычисляются на основании статистических данных, полученных в течение многочисленных прогонов, поэтому нет необходимости полагаться на оцениваемые значения отдачи, относящиеся к соседним состояниям.

Резервирование выборки. В этом алгоритме не предусматривается перебор всех смежных состояний. Вместо этого используются сформированные случайным образом эпизоды, а из этого следует, что произвольно выбирается единственный путь через состояния.

Резервирование на полную глубину. Применение метода Монте-Карло связано с необходимостью ожидать результатов эпизода, чтобы определить отдачу. Полученное значение отдачи фактически включает информацию обо всех состояниях. При обновлении значений состояния учитываются все зарезервированные данные, начиная от конечного состояния.