Las redes neuronales mienten, y lo hacen de forma convincente. Por qué esto es normal

Introducción

Imaginen que le hacen una pregunta a una red neuronal y esta responde rápido, con elegancia y seguridad, con tanta seguridad que ni siquiera dan ganas de dudar. El problema radica en un solo detalle: en algunos casos, no es verdad. Pero lo más extraño es que la red neuronal se muestra igual de "segura" tanto en las respuestas correctas como en las incorrectas.

Cómo funciona una red neuronal y por qué surgen los errores

Todos usamos distintas redes neuronales y nos parece que la red neuronal "lo sabe todo", pero en realidad no "sabe" nada. La red neuronal, o como se acostumbra decir ahora, la IA, no verifica hechos, no "recuerda" ni duda. La IA que la mayoría entiende como los llamados modelos LLM simplemente predice la siguiente palabra o, mejor dicho, el siguiente token (parte de una palabra). Y así, paso a paso, se va formando el texto de la respuesta. Desde el punto de vista matemático, este comportamiento del modelo LLM puede describirse como la elección de la continuación más probable del texto de respuesta. Quien esté mínimamente familiarizado con la teoría de probabilidades debería entender la siguiente idea: cuanto más frecuentemente el modelo "vio" textos similares, más fácil le resulta reproducir su estructura y contexto. Aquí surge un efecto que se manifiesta en que la respuesta típica se presenta como la correcta. Pero lo más peligroso es la forma en que la red neuronal se equivoca. Nótese que no dice "no lo sé", sino que genera una respuesta que resulta lógica, coherente y suena como una opinión experta. Esto se debe a que en estos modelos se utiliza un mecanismo de atención que, en esencia, minimiza lo "absurdo", pero no garantiza la "verdad".

Manifestaciones en la práctica

Esto se ve claramente en ejemplos reales. Un estudiante puede pedirle a la red neuronal que cite artículos científicos sobre algún tema y, al final, obtener una lista de bibliografía perfecta, incluso con el formato correcto. La lista se verá impecable: apellidos de autores, nombres de revistas, años de publicación, hasta números de páginas, pero el problema será que no todos los artículos de la lista existen realmente. La red neuronal no "se equivocó", simplemente reprodujo la forma más probable de una lista bibliográfica, armando un resultado verosímil pero parcialmente ficticio.

La misma lógica se manifiesta en la programación. Un desarrollador pide que escriba una función y obtiene un código prolijo, comprensible, que incluso pasa las pruebas. Pero al implementarse un escenario "poco común" en el servicio por parte de algún usuario, ese código dejará de funcionar. La red neuronal no contempló ese caso porque ocurre raramente, es "improbable". Es decir, la IA no escribió código "confiable", sino típico, y eso resultó insuficiente.

En medicina se manifiesta el mismo efecto. Al describir síntomas, el usuario recibe una respuesta tranquila y lógica con posibles causas y recomendaciones, pero la red neuronal "suaviza" los riesgos, considerando que una enfermedad rara pero peligrosa con síntomas similares resulta ser simplemente una de las variantes poco probables.

Imaginen el trabajo de la IA como un recorrido por un camino. En áreas del conocimiento donde la red neuronal cuenta con entrenamiento sobre miles de ejemplos de la vida real y gran experiencia, es una autopista de alta velocidad con respuestas precisas. Pocos datos reales: un camino rural con "adivinanzas". Casi sin experiencia: un sendero estrecho donde la red neuronal elige la "dirección parecida".

El punto clave es que la red neuronal siempre elige el camino más cómodo de los disponibles y sigue adelante.

Propiedad del sistema y conclusión

Precisamente por eso, hablando en lenguaje informático, esto no es un bug de la IA, sino una propiedad suya. La red neuronal no sabe dónde está la verdad, no distingue un hecho de un error y no entiende que se equivocó. Hace exactamente aquello para lo que la entrenaron los programadores y científicos que inventaron el mecanismo de atención: se mueve por la ruta más "transitable" en el espacio de probabilidades y construye una respuesta que luce lo más natural posible. Esto la convierte en una herramienta poderosa y, al mismo tiempo, en una fuente de nuevos riesgos.

En los modelos actuales de IA se intenta corregir esto conectando cada vez más bases de conocimiento, añadiendo verificación de datos y utilizando varios modelos simultáneamente, pero es imposible eliminar completamente este problema porque está arraigado en la propia naturaleza de estos sistemas.

Y aquí llegamos a la conclusión fundamental. La red neuronal no miente, no intenta engañar, simplemente construye la respuesta más probable, que no siempre es la verdadera. Y precisamente en esto radica la diferencia clave entre la inteligencia artificial y el pensamiento humano.