Почему ИИ уверенно называет неверную цифру

Неприятная особенность машинного ответа не в том, что он бывает неверным, — неверным бывает и справочник, и этикетка. Она в том, что верный и неверный ответ выглядят одинаково: то же число знаков, та же интонация, та же скорость. Разобраться, откуда берётся эта ровность и что с ней делать, полезнее, чем спорить о процентах точности.

Модель отвечает всегда

Языковая или зрительная модель устроена так, что выдаёт наиболее вероятное продолжение — для картинки блюда это правдоподобная оценка. Состояния «не знаю» в этой схеме нет: даже на снимке, где не разобрать ни блюда, ни размера тарелки, будет назван вес и калорийность. Не потому, что модель уверена, а потому, что отказ ей нечем сформулировать.

Отсюда практическое следствие. Молчание или оговорка — сигнал, которого ждать не стоит. Проверять правдоподобие ответа приходится снаружи, и ниже разобрано, чем именно.

Одна и та же тарелка — два разных ответа

Повторный запрос по тому же снимку часто даёт другое число. Причина не в поломке: генерация вероятностная, и небольшой разброс заложен в саму процедуру. Величину этого разброса удобно использовать как бесплатную проверку — если два ответа расходятся вдвое, значит, на снимке действительно нечего измерять.

Тот же приём применяют и в исследованиях. При проверке чат-ботов на вопросах спортивного питания отдельно оценивали воспроизводимость ответа при повторе того же вопроса, и она оказалась одним из слабых мест: точность авторы называют умеренной и непостоянной между моделями.

Где ошибка систематическая, а где случайная

Это различие важнее общей цифры точности. Случайная ошибка гуляет вокруг верного значения и на длинной дистанции частично гасится. Систематическая смещена в одну сторону и не гасится никогда — сколько дней ни считай.

В проверке приложения с распознаванием снимков против взвешенного дневника смещение оказалось именно систематическим: энергия завышалась в среднем на 154 ккал в день, жир на 10,4 г, углеводы на 33,8 г, а клетчатка, наоборот, занижалась на 4,5 г. Тридцать шесть человек, десять дней подряд, обе записи одновременно.

Обзоры методов на основе изображений описывают и другую закономерность: смещение растёт вместе с размером порции. Маленькая тарелка оценивается сносно, большая — заметно хуже, и почти всегда в сторону занижения.

Что из этого следует. Если вы пользуетесь одним и тем же инструментом и сравниваете свои дни между собой, систематическое смещение сокращается: оно есть и вчера, и сегодня. Если сравниваете цифру из приложения с рекомендацией из статьи или с чужим результатом — смещение остаётся целиком.

Пять признаков ответа, который стоит перепроверить

• Круглое число. «500 ккал» на снимке домашней тарелки — почти всегда округление догадки, а не расчёт.
• Слишком точное число. «487 ккал» создаёт впечатление измерения там, где его не было. Три значащие цифры при погрешности в треть — украшение, а не информация.
• Названо блюдо, которого на снимке не разобрать. Если вы сами не видите на фотографии, курица там или свинина, модель это тоже не видит — но назовёт.
• Не упомянуто масло. Жарка добавляет 100–200 ккал на порцию и не видна. Ответ, где жареное блюдо стоит как отварное, занижен.
• Ответ не изменился после того, как вы дописали важное. Если добавление «заправлено двумя ложками майонеза» ничего не поменяло, подпись не учтена.

Что делать с этим на практике

Три приёма покрывают большую часть случаев, и все три бесплатны.

Сравнить с якорем. Держите в голове несколько опорных значений: столовая ложка масла — около 110 ккал, кусок хлеба — около 80, порция отварной гречки в 150 г — около 200. Ответ, который расходится с якорем в разы, обсуждать бессмысленно, его надо уточнять.

Дописать невидимое. Способ приготовления, заправка, жирность молочного, сахар в напитке. Это ровно те вещи, которые на снимке не отражаются, а в калорийности решают.

Смотреть на неделю, а не на приём пищи. Ошибка отдельного обеда велика; средняя за неделю устойчивее, потому что случайная составляющая частично гасится. Именно недельное среднее и имеет смысл сравнивать с нормой калорий в день, а не отдельный ужин.

И общее правило, которое старше всех нейросетей: инструмент оценки не заменяет весы там, где нужны весы. Если задача — точный дефицит при небольшом весе, где 200 ккал в день решают, считать надо по взвешенным домашним рецептам, а фотография остаётся для всего остального.

Почему «дообучить модель» не закрывает вопрос

Часть ошибок действительно уходит с улучшением моделей: узнавание блюд, редкие категории, кухни, которых не было в обучающем наборе. Но главная составляющая — не в модели. Плоский снимок не содержит информации о том, что скрыто под верхним слоем, сколько масла впиталось и какой жирности был фарш. Это ограничение изображения, а не алгоритма, и оно не снимается ни объёмом данных, ни размером сети.

Поэтому честная формулировка про любой инструмент такого рода звучит одинаково: он даёт оценку, а не измерение. Оценка полезна ровно там, где решение принимается на уровне «много или мало», и бесполезна там, где решение принимается на уровне «на сколько именно».

Посчитать по фото

Частые вопросы

Почему одно и то же фото даёт разные ответы?

Генерация ответа вероятностная, поэтому небольшой разброс заложен в саму процедуру. Это можно использовать как проверку: если два ответа по одному снимку расходятся вдвое, значит, на фотографии действительно недостаточно данных для оценки.

Может ли модель сказать, что не знает?

Как правило, нет. Она выдаёт наиболее правдоподобное продолжение, и отказ в эту схему не заложен: даже на нечитаемом снимке будет названо число. Отсутствие оговорки не означает уверенности — она просто не выражается.

Что такое систематическая ошибка и чем она хуже случайной?

Случайная ошибка гуляет вокруг верного значения и на длинной дистанции частично гасится, систематическая смещена в одну сторону и не гасится никогда. В проверках приложений с распознаванием снимков смещение по энергии составляло порядка полутора сотен килокалорий в день и росло вместе с размером порции.

Как быстро понять, что ответ занижен?

Проверьте, учтено ли невидимое: масло при жарке, заправка, сахар в напитке, жирность молочного. Если жареное блюдо оценено примерно как отварное, ответ занижен на 100–200 ккал только за счёт масла.

Стоит ли вообще пользоваться такой оценкой?

Стоит там, где решение принимается на уровне «много или мало»: увидеть, что обед стоил не четыреста килокалорий, а тысячу с лишним. Для точного расчёта дефицита, где важны десятки калорий, нужны весы и рецепт.

Читайте также

• Как нейросеть узнаёт еду на фотографии — Фотография тарелки превращается в число на экране за несколько секунд, и со стороны это выглядит как измерение.
• ИИ-диетолог и чат-боты про питание: чему можно верить — Спросить про рацион у чат-бота стало проще, чем записаться к специалисту, и ответ приходит развёрнутый, вежливый и структурированный.
• Приложения для подсчёта калорий: как они устроены и где ошибаются — Счётчик калорий выглядит как калькулятор, и от него ждут точности калькулятора.

Материал носит справочный и информационный характер. Он не является медицинской рекомендацией, диагностикой, назначением лечения или диеты и не заменяет консультацию врача. При заболеваниях, беременности, приёме лекарств и любых состояниях, требующих контроля рациона, решения о питании принимаются с врачом.

Сведения о нормах, регламентах и исследованиях приведены по состоянию на момент подготовки материала и могут измениться; их актуальность следует проверять по первоисточникам. Материал не является рекламой, публичной офертой или индивидуальной консультацией. Автор и владелец сайта не несут ответственности за решения, принятые на основании этого текста.