Нейросеть врет — и делает это убедительно. Почему это нормально

Введение

Представьте, что Вы задаете вопрос нейросети и она него отвечает быстро, красиво и уверенно, причем настолько уверенно, что даже не хочется сомневаться. Проблема заключается только в одном, что в некоторых случаях это неправда. Но самое странное заключается в том, что и в правильном, и в неправильном ответе нейросеть «уверена» одинаково.

Как работает нейросеть и почему возникают ошибки

Все мы пользуемся различными нейросетями и нам кажется, что нейросеть «все знает», но на самом деле она ничего «не знает». Нейросеть или как принято сейчас говорить ИИ проверяет факты, не «вспоминает» и не сомневается. ИИ под которым большинство понимает так называемые LLM модели просто предсказывает следующее слово или лучше сказать токен (часть слова). И так шаг за шагом формируется текст ответа. С точки зрения математики такое поведение LLM модели можно описать как выбор наиболее вероятного продолжения текста ответа. Кто хоть немного знаком с теорией вероятности должен понять следующую мысль: чем чаще модель «видела» похожие тексты, тем легче ей воспроизвести их структуру и контекст. При этом возникает эффект, который проявляется в том, что типичный ответ выдается за правильный. Но самое опасное в том, как нейросеть ошибается. Заметим, она не говорит «я не знаю», она генерирует ответ, который получается логичным, связным и звучит как экспертное мнение. Это связано с тем, что в таких моделях используется механизм внимания, который, по своей сути, минимизирует «нелепость», но не гарантирует «истину».

Проявления на практике

Это хорошо видно на реальных примерах. Студент может попросить нейросеть привести научные статьи по какой-либо теме и, в итоге, получить идеальный список литературы и даже по ГОСТу. Список будет выглядеть идеально: фамилии авторов, названия журналов, годы публикации, даже номера страниц, но проблема будет в том, что не статьи из списка существуют реально. Нейросеть не «ошиблась» — она просто воспроизвела наиболее вероятную форму списка литературы, собрав правдоподобный, но отчасти вымышленный результат.