Las redes neuronales mienten, y lo hacen de forma convincente. Por qué esto es normal

Introducción

Imaginen que le hacen una pregunta a una red neuronal y esta responde rápido, con elegancia y seguridad, con tanta seguridad que ni siquiera dan ganas de dudar. El problema radica en un solo detalle: en algunos casos, no es verdad. Pero lo más extraño es que la red neuronal se muestra igual de "segura" tanto en las respuestas correctas como en las incorrectas.

Cómo funciona una red neuronal y por qué surgen los errores

Todos usamos distintas redes neuronales y nos parece que la red neuronal "lo sabe todo", pero en realidad no "sabe" nada. La red neuronal, o como se acostumbra decir ahora, la IA, no verifica hechos, no "recuerda" ni duda. La IA que la mayoría entiende como los llamados modelos LLM simplemente predice la siguiente palabra o, mejor dicho, el siguiente token (parte de una palabra). Y así, paso a paso, se va formando el texto de la respuesta. Desde el punto de vista matemático, este comportamiento del modelo LLM puede describirse como la elección de la continuación más probable del texto de respuesta. Quien esté mínimamente familiarizado con la teoría de probabilidades debería entender la siguiente idea: cuanto más frecuentemente el modelo "vio" textos similares, más fácil le resulta reproducir su estructura y contexto. Aquí surge un efecto que se manifiesta en que la respuesta típica se presenta como la correcta. Pero lo más peligroso es la forma en que la red neuronal se equivoca. Nótese que no dice "no lo sé", sino que genera una respuesta que resulta lógica, coherente y suena como una opinión experta. Esto se debe a que en estos modelos se utiliza un mecanismo de atención que, en esencia, minimiza lo "absurdo", pero no garantiza la "verdad".