Cuando la IA alucina en los tribunales: un juez argentino anula una sentencia por citas falsas generadas por ChatGPT

Imagínate esto: estás en un juicio, el juez dicta sentencia y, de repente, alguien descubre que las citas legales que usó para fundamentar su decisión son completamente inventadas. No, no es un capítulo de Black Mirror. Es lo que ocurrió en un tribunal argentino, donde un juez utilizó ChatGPT para redactar una sentencia y el chatbot, en su afán de ser útil, generó citas de jurisprudencia que nunca existieron. El resultado: la sentencia fue anulada. Y esto no es solo una anécdota curiosa; es una llamada de atención para todo el sistema legal.

El caso: cuando la IA alucina

En Argentina, un tribunal de apelaciones anuló una sentencia de primera instancia porque el juez incluyó citas de supuestos fallos judiciales que, al ser verificados, resultaron ser completamente ficticios. El juez había usado ChatGPT para agilizar su trabajo, pero la IA, en lugar de buscar fuentes reales, inventó referencias que sonaban verosímiles pero no existían. Este fenómeno, conocido como "alucinación" en el mundo de la IA, ocurre cuando los modelos generativos crean información falsa pero coherente.

El tribunal superior no se lo tomó a la ligera. En su fallo, señaló que el uso de IA no exime al juez de su deber de verificar las fuentes y que la sentencia carecía de la fundamentación legal necesaria. La decisión fue unánime y establece un precedente importante: la tecnología puede ser una herramienta, pero la responsabilidad última recae en el ser humano.

¿Por qué esto es un gran problema?

Si crees que esto es un caso aislado, piensa de nuevo. En Estados Unidos, un abogado ya fue sancionado por presentar citas falsas generadas por ChatGPT en un caso contra una aerolínea. Y en Colombia, un juez usó IA para redactar una sentencia, aunque en ese caso no hubo alucinaciones. El problema es global: la IA generativa está penetrando en el sistema judicial, y no todos los operadores jurídicos están preparados para usarla con el debido cuidado.

El riesgo no es solo que se dicten sentencias basadas en hechos falsos, sino que se erosione la confianza en el sistema judicial. Si los jueces no verifican sus fuentes, ¿cómo podemos confiar en que sus decisiones son justas? Es como si un médico recetara un medicamento basándose en un artículo de Wikipedia sin leerlo: puede funcionar, pero el riesgo de error es enorme.

La responsabilidad de los abogados y jueces

Este caso nos recuerda que la tecnología es una herramienta, no un sustituto del criterio humano. Los abogados y jueces tienen la obligación ética y legal de verificar cada fuente que citan. Usar IA para redactar documentos puede ahorrar tiempo, pero delegar la verificación de fuentes a la máquina es una receta para el desastre.

Además, este precedente argentino podría tener implicaciones más amplias. Por ejemplo, si un abogado presenta un escrito con citas falsas generadas por IA, podría enfrentar sanciones disciplinarias o incluso demandas por negligencia. La lección es clara: la IA puede ser una aliada, pero siempre bajo supervisión humana.

¿Qué podemos aprender?

Primero, que la IA no es infalible. Los modelos de lenguaje como ChatGPT son excelentes para generar texto coherente, pero no tienen capacidad de verificar hechos. Segundo, que la formación en alfabetización digital es crucial para los profesionales del derecho. No basta con saber usar la herramienta; hay que entender sus limitaciones.

Por último, este caso subraya la necesidad de regulaciones claras sobre el uso de IA en el ámbito judicial. Países como la Unión Europea ya están avanzando con la Ley de Inteligencia Artificial, que clasifica los sistemas de IA según su riesgo. En el caso de la justicia, cualquier herramienta que pueda afectar derechos fundamentales debe ser de alto riesgo y estar sujeta a controles estrictos.

Mientras tanto, la próxima vez que uses ChatGPT para redactar un documento legal, recuerda: verifica, verifica y verifica. Porque una alucinación de la IA puede convertirse en una pesadilla legal. Y eso, créeme, es más aburrido que leer los términos y condiciones de una app de fotos.