ChatGPT-4 и советы по отказу от курения на китайском: анализ содержания

Учёные решили выяснить, может ли ChatGPT-4 давать полезные советы по отказу от курения на традиционном китайском языке. Они задавали чат-боту разные вопросы и сценарии, связанные с курением, и оценивали ответы по трём параметрам: последовательность (одинаковы ли ответы на один и тот же вопрос), конкретность (учитывает ли возраст, готовность бросить и зависимость) и наличие проверенных приёмов изменения поведения.

В первой части исследования ChatGPT-4 задавали одни и те же вопросы по десять раз. Ответы совпадали лишь наполовину — это умеренная последовательность. Во второй части использовали 12 сценариев с разными людьми. Бот лучше учитывал готовность бросить и возраст, чем степень никотиновой зависимости. В третьей части проанализировали 20 подробных сценариев и нашли 17 разных приёмов изменения поведения, в среднем по 10 на ответ.

Качество ответов оценивали два независимых эксперта, разногласия решал третий. Согласие между ними было от умеренного до почти полного. Ответы ChatGPT-4 были на традиционном китайском, с вступлением, списком рекомендаций и заключением.

Главный вывод: ChatGPT-4 даёт умеренно последовательные и конкретные советы, но им не хватает деталей и учёта контекста. Это первое исследование такого рода для китайского языка. Оно показывает, что искусственный интеллект может поддерживать отказ от курения, но нужны улучшения, чтобы советы точнее следовали клиническим рекомендациям.