Lo que un casi incidente militar enseña sobre dónde poner el control humano, también en el desarrollo de software.
Hace unos días, CNN reveló un caso que debería leer cualquiera que esté integrando IA en procesos críticos.
Según cuatro fuentes citadas por el medio, un analista del Comando de Operaciones Especiales del Pacífico de EE.UU. le consultó a un chatbot sobre el manifiesto de carga de un barco chino en Medio Oriente. La herramienta combinó información pública de internet con inteligencia de señales clasificada y llegó a una conclusión: el barco transportaba componentes de un programa de armas nucleares.
La conclusión era falsa. Pero antes de que alguien lo notara, el analista volvió a usar la IA para darle forma de informe de inteligencia. Con ese informe se planificó interceptar el barco, hubo aviones en el aire y personal armado esperó la orden. La operación se detuvo en el último momento, cuando alguien decidió revisar de dónde salía la información.
Una de las fuentes lo resumió así: “casi inició una guerra”.
El Pentágono no confirmó el caso. Se limitó a reiterar su compromiso con la “verificación rigurosa” de la información de inteligencia. Aun así, lo reportado deja lecciones que van mucho más allá del ámbito militar.
La lección no es “no use IA”
Sería fácil leer esto como un argumento contra la inteligencia artificial, pero sería una lectura equivocada. Una de las fuentes lo dijo con más precisión:
La IA te permite llegar más rápido a una mala idea.
El problema no fue la velocidad. Fue que no había ningún control entre la idea y la acción. En este caso se ven tres fallas que conviene separar:
- La IA respondió sin estar anclada a una fuente verificable: Mezcló información de distinto origen y confiabilidad y produjo una conclusión que nadie podía rastrear hasta su base.
- El error se formalizó: La conclusión pasó de ser una respuesta de chatbot a un informe con formato oficial. Ahí ocurre algo peligroso: el formato da autoridad. Un documento bien estructurado y bien redactado parece verificado, aunque nadie lo haya verificado.
- La revisión humana existió, pero llegó tarde: Una persona terminó deteniendo la operación, pero lo hizo cuando ya estaba en marcha. El control funcionó por poco y no por diseño.
El mismo patrón, a escala de software
En desarrollo de software nadie va a iniciar un conflicto internacional por un requerimiento mal escrito. Pero el patrón es el mismo, y quien ha trabajado en proyectos de tecnología lo reconoce enseguida.
Una idea de negocio llega ambigua. Alguien, hoy con frecuencia una IA, la convierte en un documento de requerimientos ordenado y bien redactado. Ese documento se transforma en un diseño, el diseño en código y el código en producción. En cada paso el error gana credibilidad, porque llega con más formato, más trabajo invertido y más gente que ya lo dio por bueno.
El resultado se conoce: funcionalidades que no resolvían lo que se pidió, módulos que ya existían y se construyeron de nuevo, dependencias que se rompen en producción. Y el costo de corregir crece en cada etapa, hasta volverse más caro que haberlo hecho bien desde el comienzo.
Los asistentes de código agravan este riesgo en vez de reducirlo: aceleran la implementación, pero no planifican ni revisan. Hacen que se llegue antes a construir lo equivocado.
Dónde debe estar el control humano
“Human in the loop” se volvió una frase común, pero no dice lo más importante: dónde está esa persona y cuándo interviene.
Una persona que revisa al final, con todo ya construido, tiene poco margen: aprueba algo que no puede cambiar o detiene todo con un costo alto. Una persona que aprueba en cada etapa, con información verificable delante, toma decisiones cuando todavía son baratas.
Para que ese control funcione de verdad hacen falta tres condiciones:
- Que lo que genera la IA esté anclado a una fuente real, no a lo que “suena razonable”.
- Que haya puntos de aprobación explícitos antes de cada avance, y no una sola revisión al final.
- Que quede registro de quién pidió qué, quién aprobó y por qué.
Cómo lo resolvemos en Tinet: Suite Loica
Suite Loica se diseñó sobre esa lógica. Su principio se resume en una imagen: como al lanzar un cohete, primero el plano y al final la lista de chequeo. Loica no programa. Pone el plano antes y la revisión después, y en el medio el equipo trabaja como siempre.
- GenDEV, el que hace el plano: Toma una idea de negocio y la convierte en un plano técnico: qué hay que construir y cómo saber si quedó bien. La diferencia clave es que no trabaja en el vacío. Se apoya en la KDB, la memoria de la empresa: una base de conocimiento que contiene el código, las reglas y las decisiones, que se actualiza sola cada vez que cambia el código y que vive solo en los computadores o en la nube del cliente. Por eso cada especificación indica qué ya existe y se puede aprovechar, y qué se verá afectado.
- GenQA, el que revisa: Después de programar, prueba la aplicación de verdad, como lo haría un usuario, y guarda fotos y video de cada prueba. Si algo falla, no se publica.
Y en cada etapa decide una persona. Loica propone y el equipo aprueba. Cada cambio guarda su historia: quién lo pidió y para qué.
En la práctica, entender una idea nueva pasa de tomar dos semanas a unas 2,5 horas. Escribir el plano pasa de dos semanas a 45 minutos, y el documento técnico de una semana a 30 minutos. En los equipos donde lo hemos medido, el tiempo por tarea bajó a la mitad. La velocidad es real, pero lo que más nos importa es que ahora hay control en cada paso de ese camino más rápido.
Tres preguntas para hacerse esta semana
- ¿Dónde revisan hoy las personas lo que produce la IA en su organización? Si la respuesta es “al final”, ya sabe dónde está el riesgo.
- ¿Pueden rastrear un documento generado por IA hasta su fuente? Si un requerimiento o un análisis no puede responder “¿de dónde sale esto?”, el formato le está dando una autoridad que no se ganó.
- ¿Quién aprueba cada paso, y queda registrado? Si no hay nombre ni fecha, no hay control: hay confianza.
Para cerrar
El caso del barco no es una historia sobre la IA fallando. Es una historia sobre un proceso sin control en el lugar correcto. La IA va a seguir acelerando todo lo que toca, y la pregunta es si esa velocidad lo lleva a una buena decisión o a una mala idea más rápido.
Construimos Suite Loica para que sea lo primero. Si quiere verlo funcionando, le proponemos 45 minutos con nuestro equipo, sobre su código real y sin presentaciones. La primera conversación es un diagnóstico, no una demo.
