Мы проверили оценку углеводов Soba на 400 фото еды

Что получилось

Цифры в этом разделе показывают первую оценку Soba только по фото, без подсказки и до правки веса. 49% оценок отличаются от реальных углеводов не больше чем на 5 г. 95-процентный доверительный интервал для доли в пределах 10 г: от 64,0 до 72,9%.

Ближе всего оценки для небольших блюд. Если в блюде меньше 15 г углеводов, 89% оценок попадают в пределы 10 г.

Большие порции Soba обычно занижает. В 38 из 42 блюд, где углеводов 60 г и больше, оценка оказалась ниже реальной, в медиане 64% от реального количества. Главная причина в весе порции: в 30 из этих 38 блюд вес оценён минимум на 15% ниже настоящего, а углеводы на 100 г обычно близки к правде.

Как учитывать это в приложении

• На большой тарелке хлеба, риса, макарон, картофеля или пиццы по возможности взвесьте основной углеводный продукт. Оценки от 40 г ошибались и в большую, и в меньшую сторону: из 84 блюд 32 завышены больше чем на 10 г, 23 занижены.
• Отдельные небольшие продукты, например печенье или кусок пиццы, иногда получаются тяжелее, чем есть.
• Сахар, растворённый в напитке, на фото не виден. В тесте сладкий холодный чай распознан как чай без сахара. Добавьте короткую подсказку, например «сладкий чай», или отсканируйте штрихкод.
• Для упакованных продуктов штрихкод даёт значения с этикетки.

Что добавляет приложение

Результаты выше получены по одному фото без других данных. В приложении к фото можно добавить пару слов о блюде, а на iPhone с камерой глубины Soba ещё и измеряет расстояние до еды. Мы повторили тест с каждым из этих способов.

Текстовая подсказка

Несколько слов, например «сладкий чай» или «это гречка», добавляют то, чего не видно на фото. В тесте к каждому из 400 фото добавлена подсказка: названия основных продуктов из записи датасета без количеств, например «Coffee, brewed; Coffee creamer, liquid, fat free». Доля в пределах 10 г выросла с 68,5 до 72,8% (95-процентный интервал прироста от 0,7 до 7,9 пункта), медианная ошибка снизилась с 5,2 до 4,5 г.

Больше всего подсказка помогла там, где фото можно понять по-разному. Без неё Soba приняла этот кофе со сливками за карамельный соус и насчитала 162 г углеводов. С подсказкой оценка составила 5,5 г, по дневнику питания там 2,7 г. На фото SNAPMe, которые люди снимали сами, доля в пределах 10 г выросла с 59,5 до 67,5%. На фото из столовой, где продукты хорошо видны, она почти не изменилась: с 77,5 до 78,0%.

Подсказка называет продукт, а количество Soba по-прежнему оценивает по фото. Большие блюда занижены в 37 случаях из 42 с подсказкой и в 38 без неё. В тесте подсказки точно повторяли записи датасетов. Почти весь прирост дал первый набор из 200 блюд, 8,0 пункта; на втором наборе прирост составил 0,5. Ваша подсказка, скорее всего, даст меньше.

Расстояние от камеры глубины

Если снимать камерой Soba на iPhone со сканером LiDAR или с двумя и более задними камерами, Soba измеряет расстояние до еды и сообщает модели ширину кадра в сантиметрах. В Nutrition5k к каждому фото есть запись камеры глубины, поэтому мы повторили его 200 блюд с этим измерением. Доля в пределах 10 г выросла с 77,5 до 82,0% (95-процентный интервал прироста от 1,0 до 8,3 пункта), медианная ошибка снизилась с 3,9 до 3,1 г. Большие блюда по-прежнему занижались, в 12 случаях из 13. Эти фото сняты строго сверху с одной высоты. Фото под углом мы пока не измеряли.

С измерением глубины и подсказкой вместе получилось 78,5%. На фото из столовой подсказке почти нечего добавить, и 95-процентный интервал разницы с одной глубиной, от −8,8 до +1,5 пункта, включает ноль.

Ваши правки

Если вы знаете вес порции, введите его, и все цифры пересчитаются. В этом тесте вес порции был главной причиной больших ошибок.

Рядом с оценкой Soba показывает диапазон веса. На 200 взвешенных тарелках Nutrition5k реальный вес тарелки попал в этот диапазон в 97 случаях, примерно в половине. Диапазон показывает, где модель ожидает вес. Надёжнее всего проверить вес кухонными весами.

Результаты по размеру блюда

Общий результат зависит от состава выборки: в 42% блюд теста было меньше 15 г углеводов. Если вы обычно едите большими порциями, типичная ошибка будет больше.

Эти группы построены по реальным углеводам, а их приложение при скане не знает. Если группировать по оценке Soba, 84 блюда получили оценку от 40 г, и у 55 из них ошибка больше 10 г: 32 завышены, 23 занижены. Поэтому при оценке от 40 г приложение советует взвесить продукт, в котором больше всего углеводов.

Четыре блюда из теста

Две близкие оценки и два промаха. Названия и вес продуктов взяты из ответов Soba.

Фото: датасет Nutrition5k, Google Research, CC BY 4.0. Размер уменьшен для этой страницы.

Два датасета, два вида фото

Тарелки Nutrition5k собраны в столовых Google. Каждый ингредиент взвешен, а каждое фото сделано неподвижной камерой строго сверху. Условия здесь чистые, и результат Soba на этом датасете лучший.

SNAPMe собрали Министерство сельского хозяйства США и Калифорнийский университет в Дейвисе. 95 человек в США фотографировали свои блюда перед тем, как поесть, и вели дневник питания в ASA24, инструменте для оценки рациона. Эти фото похожи на те, что делают в Soba. Реальные значения здесь взяты из дневников участников, а в дневниках бывают свои ошибки. Разница между датасетами объясняется и самими фото, и точностью исходных значений.

Сравнение с опубликованным исследованием

Родригес-Хименес с соавторами (Nutrients, 2025) проверили ChatGPT-5 на 74 блюдах SNAPMe только по фото. Средняя абсолютная ошибка по углеводам у них 12,99 г, медиана 8,75 г.

Авторы отбирали блюда по-другому и часть исходных значений исправили вручную, поэтому сравнивать две строки можно только приблизительно. Уровень ошибки у них близкий. В том же исследовании короткая заметка о жире, сахаре и мясе в блюде снизила среднюю ошибку до 11,29 г. В Soba подсказка с названиями продуктов снизила среднюю ошибку на 200 блюдах SNAPMe из нашего теста с 12,2 до 10,2 г.

Какую модель использует Soba

Мы прогнали восемь моделей на первых 200 блюдах с инструкциями Soba.

Каждая модель прогнана один раз через OpenRouter с настройками запроса, которые были в Soba до октября 2026 года. Claude Sonnet 5.5 у провайдера, которого выбрал OpenRouter, вернула пустой продукт для 41 фото из 200. На остальных фото у неё 66,7%. GPT-6.1 Sol в среднем завышала углеводы на 10 г.

На этих 200 блюдах лидировала Gemini 3.7 Flash. Когда восемь моделей сравнивают на одних и тех же блюдах, лучший результат отчасти объясняется везением, поэтому мы проверили её на втором наборе из 200 блюд. Там она набрала столько же, сколько Gemini 3.6 Flash, по 70,5%, и стоит дороже. Soba остаётся на Gemini 3.6 Flash.

Ещё мы дали Gemini 3.6 Flash больше времени на рассуждение. На 400 блюдах доля в пределах 10 г выросла на 4,1 пункта, а доля в пределах 5 г и число ошибок больше 30 г не изменились. Каждый скан шёл вдвое дольше, 6,6 секунды вместо 3,5. Мы оставили быструю настройку.

Как проводилась проверка

Отбор блюд

Исходный набор: 505 тарелок из официальной тестовой части Nutrition5k со снимками сверху и 1457 фото SNAPMe, сделанных до еды. Перед этим мы убрали 22 записи: тарелки и блюда с некорректными значениями и фото SNAPMe, которые нельзя однозначно связать с одной записью дневника.

Скрипт с фиксированным случайным зерном взял по 100 блюд из каждого датасета, по 25 из каждой четверти диапазона углеводов. Тарелки, снятые в столовой в пределах одних и тех же десяти минут, часто похожи, поэтому скрипт ограничил число тарелок из одного десятиминутного окна. Затем тем же способом был выбран второй набор из 200 блюд, без общих фото и блюд с первым.

Два набора

Ошибки мы разбирали и инструкции Soba меняли только на первых 200 блюдах. Второй набор служил для проверки, держится ли результат. Так выяснилось, что преимущество Gemini 3.7 Flash не подтвердилось.

Запуск Soba

Каждое фото прошло через тот же серверный код, что и в приложении: те же инструкции, модель и настройки. Фото уменьшены до 1024 пикселей по длинной стороне, как это делает приложение перед отправкой. В основном прогоне подсказок, данных камеры глубины и последующих правок не было. Прогоны с подсказкой или глубиной шли на том же коде, менялись только эти данные. Язык приложения: русский.

Как считалась ошибка

Soba показывает чистые углеводы (без клетчатки) и клетчатку отдельно. В датасетах указаны общие углеводы, поэтому мы сравнивали с ними сумму чистых углеводов и клетчатки из ответа Soba. Главная мера: доля блюд, где разница не больше 10 г. Сбой скана засчитывался бы как промах, сбоев не было. 95-процентный интервал получен бутстрепом с 10 000 повторов, где блюда одного участника SNAPMe или одного десятиминутного окна столовой берутся вместе.

Ограничения

• Все блюда из США. Тарелки Nutrition5k сняты строго сверху на одном стенде.
• В исходных значениях есть ошибки. Данные SNAPMe взяты из дневников, которые участники заполняли сами. У части тарелок Nutrition5k в разметке пропущена видимая еда.
• Мы проверяли распознавание по фото. Текстовые описания, штрихкоды и ручной ввод в проверку не входили.
• Подсказки в тесте называли продукты точно так, как они записаны в датасетах, а их прирост сильно различался между двумя наборами блюд (см. «Текстовая подсказка»).
• Результат с глубиной получен только на 200 фото Nutrition5k, все сняты строго сверху.
• Мы измеряли углеводы. Белок, жир и калории на этой странице не разбираются.
• Поставщики обновляют модели. Результаты описывают Soba в октябре 2026 года.

Soba не является медицинским изделием. Цифры в приложении дают оценку. Сверяйте их с едой на тарелке и этикетками и следуйте своему плану лечения диабета.

Что изменилось после проверки

• Резервная модель OpenAI не могла сработать. Одну настройку запроса, температуру, модели OpenAI не принимают, а запрос разрешал только провайдеров, которые принимают все настройки. Мы убрали эту настройку. Основная модель набрала 68,9% с ней и 68,5% без неё, это в пределах обычного разброса повторных прогонов. Резервными теперь стали Gemini 3.7 Flash и GPT-6 Luna.
• В 9 из 3614 тестовых запросов (0,25%) Gemini повторяла одну фразу снова и снова, и скан длился от 35 до 87 секунд. Теперь Soba ограничивает длину ответа, и такое зацикливание обрывается раньше.

Данные и источники

Результаты по каждому блюду (CSV, 400 строк): идентификатор в датасете, реальные углеводы, оценка Soba только по фото, текст подсказки и оценки с подсказкой и с глубиной. Файл распространяется по лицензии SNAPMe, CC BY-SA 4.0.

• Thames Q, Karpur A, Norris W, et al. Nutrition5k: Towards Automatic Nutritional Understanding of Generic Food. CVPR 2021. arXiv:2103.03375. Датасет: github.com/google-research-datasets/Nutrition5k, CC BY 4.0.
• Larke JA, Chin EL, Bouzid YY, et al. Surveying Nutrient Assessment with Photographs of Meals (SNAPMe): A Benchmark Dataset of Food Photos for Dietary Assessment. Nutrients. 2023;15(23):4972. PMC10708545. Данные: USDA Ag Data Commons, CC BY-SA 4.0.
• Rodríguez-Jiménez et al. Image-Based Dietary Energy and Macronutrients Estimation with ChatGPT-5: Cross-Source Evaluation Across Escalating Context Scenarios. Nutrients. 2025;17(22):3613. PMC12655113.