ИИ-собеседник в психотерапии: проверка безопасности на сложных сценариях

Спрос на психологическую помощь растёт, а получить её удаётся не всем. Поэтому исследователи всё чаще смотрят в сторону разговорных ИИ-агентов — программ, которые ведут беседу и могут имитировать психотерапевтическую поддержку. Но если человек говорит о суициде или зависимости, ошибка такого собеседника может быть опасной.

В этом пилотном исследовании два лицензированных психотерапевта разыгрывали заранее прописанные диалоги с виртуальным агентом. Агент работал на модели GPT-4omni и был встроен в аватар на платформе Unity. Всего было 12 сценариев, посвящённых суицидальным высказываниям и злоупотреблению психоактивными веществами. Реальных пациентов не было — только симуляция для проверки безопасности.

После каждого диалога специалисты оценивали удобство и качество взаимодействия. Два независимых психотерапевта отдельно разбирали ответы агента по критериям: следует ли он рекомендациям, распознаёт ли риск, предлагает ли помощь, умеет ли снижать напряжение и проявляет ли эмпатию.

В целом агент показал хорошую удобность и часто отвечал эмпатично. Но в 29% бесед встречались проблемные ответы, а 12,5% были признаны особо критичными. Это означало недостаточную поддержку, слабое распознавание риска или этически сомнительные советы. Главные тревоги — недооценка опасности, нормализация употребления веществ и отсутствие направления к кризисным службам, особенно когда речь шла о доступе несовершеннолетних к алкоголю и вопросах о суициде.

Авторы подчёркивают: это маленькая проверка с участием экспертов, а не клиническое испытание. ИИ-помощники могут расширить доступ к поддержке, но перед реальным применением нужны строгие проверки безопасности, контроль специалистов и надёжные защитные механизмы. Никаких выводов о лечении из этой симуляции сделать нельзя.