ИИ-диетолог и чат-боты про питание: чему можно верить
Спросить про рацион у чат-бота стало проще, чем записаться к специалисту, и ответ приходит развёрнутый, вежливый и структурированный. Проверки таких ответов существуют, и картина в них двойственная: по общим вопросам качество неплохое, а собранные ошибки группируются в узнаваемые темы, где ошибиться дороже всего.
Что именно проверяли
Исследования такого рода устроены похоже: набор вопросов, ответы моделей, оценка экспертами по нескольким осям — научная точность, полнота, ясность, качество обоснования, а иногда и повторяемость при повторном запросе.
В сравнении с людьми чат-боты на вопросах по питанию выступили сопоставимо: по части вопросов оценки за научную точность и ясность оказались выше, чем у ответов специалистов.
На более узкой области картина хуже. Проверка по вопросам спортивного питания оценивала точность, полноту, ясность, качество обоснования и повторяемость и назвала точность умеренной и непостоянной между моделями.
Отдельная работа по вегетарианскому и веганскому питанию нашла у всех проверенных моделей ответы, способные навредить, и — что важнее — сгруппировала их по темам.
Где ошибки повторяются
Список повторяющихся тем полезнее общей оценки точности, потому что он говорит, где именно перепроверять.
| Тема | Характер ошибки |
|---|---|
| Витамин B12 при растительном питании | Ненадёжные источники названы достаточными |
| Йод и селен | Советы без учёта верхней границы потребления |
| Беременность, дети, пожилые | Общий совет выдаётся уязвимой группе без оговорок |
| Хронические болезни | Рекомендация без учёта состояния и лекарств |
| Симптомы | Совет по питанию вместо направления к врачу |
| Обоснование | Уверенный тон при непрослеживаемом источнике |
Общее у первых пяти строк — это ситуации, где верхняя граница или противопоказание важнее самой рекомендации. Общее у последней — то, что по тону ответа отличить обоснованное утверждение от правдоподобного нельзя.
Почему уверенность не связана с правотой
Модель выдаёт наиболее вероятное продолжение, а не проверенный факт, и формы «я не уверен» в этой схеме нет. Одинаково ровно звучат общепринятая рекомендация и утверждение, которое некому подтвердить. Подробнее этот механизм и способы его обойти разобраны в материале про ошибки ИИ.
К этому добавляется повторяемость: тот же вопрос, заданный дважды, может получить разные ответы. Это удобно использовать как проверку — расхождение между двумя ответами указывает, что твёрдой опоры под вопросом нет.
Вопросы, на которые чат-бот отвечает хорошо
- Объяснить механизм. Что происходит с лактозой в кишечнике, зачем нужна клетчатка, чем отличаются жиры. Здесь материал устоявшийся.
- Расшифровать этикетку. Что означает добавка под номером, чем «без сахара» отличается от «без добавленного сахара» — см. материалы про номера E и надписи на упаковке.
- Посчитать. Сложить калорийность по ингредиентам, пересчитать на порцию, перевести единицы.
- Предложить варианты. Чем заменить продукт в рецепте, как собрать завтрак из того, что есть.
- Сформулировать вопросы к врачу. Это, пожалуй, самое недооценённое применение.
Вопросы, где ответ надо перепроверять
- Дозировки. Особенно у веществ с узким окном между нормой и избытком — йод, селен, витамин D, железо. Про разницу между добавками и лекарствами есть материал БАДы, витамины и лекарства.
- Питание при болезни, беременности, приёме лекарств. Здесь решает не общее правило, а конкретная ситуация.
- Симптомы. Боль, потеря веса, изменения стула — повод к врачу, а не к смене рациона.
- Ссылки на исследования. Модель может привести правдоподобно выглядящую ссылку на несуществующую работу. Проверять надо переходом по адресу.
- Числовые нормы. Значения регламентов и допустимого потребления меняются решениями агентств; лучше свериться с первоисточником.
Как задавать вопрос, чтобы ответ был полезнее
- Дать контекст. Возраст, вес, уровень активности, ограничения. Общий вопрос получает общий ответ.
- Просить механизм, а не вердикт. «Почему так» проверяемо, «что мне есть» — нет.
- Спрашивать про границы. «Сколько это много» и «кому не подходит» — те самые места, где ответы чаще всего неполны.
- Задать вопрос дважды. Расхождение ответов — сигнал перепроверить.
- Отделять расчёт от совета. Арифметику можно принимать, рекомендацию по здоровью — сверять.
И граница, которая не двигается: чат-бот не ставит диагнозов и не назначает лечения и диет. При заболеваниях, беременности, приёме лекарств и любых состояниях, требующих контроля рациона, решения принимаются с врачом.
Частые вопросы
- Можно ли доверять советам чат-бота о питании?
- По общим вопросам качество ответов в проверках оказалось сопоставимо с ответами специалистов, а по части вопросов выше по точности и ясности. Но в узких областях точность называют умеренной и непостоянной, а во всех проверенных моделях находили ответы, способные навредить.
- В каких темах ошибки повторяются чаще всего?
- Источники витамина B12 при растительном питании, дозировки йода и селена без учёта верхней границы, советы уязвимым группам без оговорок, рекомендации при хронических болезнях и совет по питанию вместо направления к врачу при симптомах.
- Почему ответ звучит уверенно, даже когда он неверен?
- Модель выдаёт наиболее вероятное продолжение, а не проверенный факт, и способа выразить неуверенность у неё нет. По тону отличить общепринятую рекомендацию от правдоподобного утверждения невозможно.
- Как проверить ответ, не будучи специалистом?
- Задать тот же вопрос второй раз и сравнить: расхождение указывает на отсутствие твёрдой опоры. Отдельно проверять ссылки переходом по адресу — модель может привести правдоподобную ссылку на несуществующую работу.
- Для чего чат-бот подходит лучше всего?
- Для объяснения механизмов, расшифровки этикетки, арифметики по ингредиентам и подбора замен в рецепте. И для того, чтобы сформулировать вопросы, с которыми идти к врачу.
Читайте также
- Почему ИИ уверенно называет неверную цифру — Неприятная особенность машинного ответа не в том, что он бывает неверным, — неверным бывает и справочник, и этикетка.
- Как нейросеть узнаёт еду на фотографии — Фотография тарелки превращается в число на экране за несколько секунд, и со стороны это выглядит как измерение.
- Чем БАДы отличаются от витаминов и лекарств — В аптеке на одной полке стоят две упаковки с витамином D.
Материал носит справочный и информационный характер. Он не является медицинской рекомендацией, диагностикой, назначением лечения или диеты и не заменяет консультацию врача. При заболеваниях, беременности, приёме лекарств и любых состояниях, требующих контроля рациона, решения о питании принимаются с врачом.
Сведения о нормах, регламентах и исследованиях приведены по состоянию на момент подготовки материала и могут измениться; их актуальность следует проверять по первоисточникам. Материал не является рекламой, публичной офертой или индивидуальной консультацией. Автор и владелец сайта не несут ответственности за решения, принятые на основании этого текста.