Нейросеть врет — и делает это убедительно. Почему это нормально

Введение

Представьте, что Вы задаете вопрос нейросети и она него отвечает быстро, красиво и уверенно, причем настолько уверенно, что даже не хочется сомневаться. Проблема заключается только в одном, что в некоторых случаях это неправда. Но самое странное заключается в том, что и в правильном, и в неправильном ответе нейросеть «уверена» одинаково.

Как работает нейросеть и почему возникают ошибки

Все мы пользуемся различными нейросетями и нам кажется, что нейросеть «все знает», но на самом деле она ничего «не знает». Нейросеть или как принято сейчас говорить ИИ проверяет факты, не «вспоминает» и не сомневается. ИИ под которым большинство понимает так называемые LLM модели просто предсказывает следующее слово или лучше сказать токен (часть слова). И так шаг за шагом формируется текст ответа. С точки зрения математики такое поведение LLM модели можно описать как выбор наиболее вероятного продолжения текста ответа. Кто хоть немного знаком с теорией вероятности должен понять следующую мысль: чем чаще модель «видела» похожие тексты, тем легче ей воспроизвести их структуру и контекст. При этом возникает эффект, который проявляется в том, что типичный ответ выдается за правильный. Но самое опасное в том, как нейросеть ошибается. Заметим, она не говорит «я не знаю», она генерирует ответ, который получается логичным, связным и звучит как экспертное мнение. Это связано с тем, что в таких моделях используется механизм внимания, который, по своей сути, минимизирует «нелепость», но не гарантирует «истину».

Проявления на практике

Это хорошо видно на реальных примерах. Студент может попросить нейросеть привести научные статьи по какой-либо теме и, в итоге, получить идеальный список литературы и даже по ГОСТу. Список будет выглядеть идеально: фамилии авторов, названия журналов, годы публикации, даже номера страниц, но проблема будет в том, что не статьи из списка существуют реально. Нейросеть не «ошиблась» — она просто воспроизвела наиболее вероятную форму списка литературы, собрав правдоподобный, но отчасти вымышленный результат.

Та же логика проявляется в программировании. Разработчик просит написать функцию и получает аккуратный, понятный код, который даже проходит тесты. Но при реализации «редкого» сценария в сервисе каким-либо пользователем этот код перестанет работать. Нейросеть не учла этот случай, потому что он редко встречается, он «невероятен». То есть ИИ написал не «надежный» код, а типичный и этого оказалось недостаточно.

В медицине проявляется тот же эффект. Описав симптомы, пользователь получает спокойный, логичный ответ с возможными причинами и рекомендациями, но при этом нейросеть «сглаживает» риски, считая, что редкое, но опасное заболевание со схожими оказывается просто одним из вариантов, который маловероятен.

Представьте работу ИИ как путь по дороге. В областях знаний, где у нейросети за плечами обучение на тысячах примеров из реальной жизни и большой опыт— это скоростное шоссе с точными ответами. Мало реальных данных — проселочная дорога с «угадыванием». Почти нет опыта— узкая тропинка, где нейросеть выбирает «похожее направление».

Ключевой момент в том, что нейросеть всегда выбирает самую удобную дорогу из доступных и идет дальше.

Свойство системы и вывод

Именно поэтому, говоря на языке айтишников это не баг ИИ, а его свойство. Нейросеть не знает, где истина, не отличает факт от ошибки и не понимает, что ошиблась. Она делает ровно то, чему ее научили программисты и ученые, которые придумали механизм внимания двигается по наиболее «проходимому» маршруту в пространстве вероятностей и строит ответ, который выглядит максимально естественным. Это делает ее мощным инструментом и одновременно источником новых рисков.

В современных моделях ИИ пытаются это исправить, подключая все новые и новые базы знаний, добавляют проверку фактов, используют несколько моделей одновременно, но полностью устранить эту проблему нельзя, потому что она заложена в самой природе таких систем.

И здесь возникает главный вывод. Нейросеть не врет, она не пытается обмануть, она просто строит наиболее вероятный ответ, который не всегда является истинным. И именно в этом — ключевое отличие искусственного интеллекта от человеческого мышления.