Когда ИИ уверенно ошибается

Генеративная модель не «знает правильный ответ и иногда ошибается» — она строит наиболее вероятное продолжение. Когда входной сигнал слабый, пустой или находится вне обучающего распределения, правдоподобный ответ может оказаться полностью выдуманным.

Александр Канцеляристов показывает проблему на двух практических кейсах: Whisper генерирует текст на тишине и шуме, а fine-tuned Qwen2.5 7B извлекает несуществующие реквизиты из пустых или неизвестных платёжных документов. Temperature=0 делает такие галлюцинации воспроизводимыми, но не устраняет их.

В докладе: — почему высокая точность на валидных данных ничего не говорит о неизвестных входах — как использовать negative и OOD evaluation, abstention и отдельную проверку применимости модели — как ошибка становится бизнес-проблемой, когда downstream-система принимает вероятностный вывод за факт — чему учат кейсы Deloitte, Air Canada и медицинских транскрипций Whisper — как validation, авторитетные источники, независимые модели и выборочная ручная проверка снижают риск