Дофамин и предсказание награды: как родилась одна из главных идей нейробиологии

Представьте, что вы ждёте от чашки кофе привычного вкуса, а он оказывается неожиданно вкуснее. Мозг фиксирует разницу между ожидаемым и реальным — это и есть ошибка предсказания награды. Обзор в Frontiers in Computational Neuroscience описывает, как эта идея развивалась.

Сначала психологи показали, что обучение во многом движется именно такими ошибками: когда реальность расходится с ожиданием, мы запоминаем и меняем поведение. Затем математики formalизовали это в моделях обучения с подкреплением, включая влиятельную схему временных различий (TDRL), где обучение управляется ошибками в ценности или награде.

Поворотный момент — открытие, что нейроны среднего мозга, вырабатывающие дофамин, ведут себя удивительно похоже на эти математические ошибки. Дофамин — это нейромедиатор, химический сигнал, который передаёт информацию между нервными клетками. Идея, что конкретная группа нейронов кодирует вычислительную переменную, лежащую в основе обучения, стала концептуальным сдвигом.

За три десятилетия эксперименты подтвердили ядро гипотезы в разных условиях, но также выявили отклонения от исходной модели. Эти исключения вызывают споры: нужно ли гипотезу улучшать, пересматривать или заменять. История дофаминовой гипотезы — пример того, как теория и эксперимент вместе двигают нейробиологию вперёд.