La gobernanza de la IA suele plantearse como una cuestión de políticas. Las organizaciones necesitan normas que regulen cómo se utiliza la IA, quién puede autorizar su uso y a qué datos puede acceder. Estas políticas son importantes, pero solo funcionan si la organización tiene visibilidad sobre dónde están desplegados sus sistemas de IA.
Lograr esa visibilidad es cada vez más difícil a medida que la IA evoluciona: pasa de generar recomendaciones a ejecutar acciones autónomas en los sistemas empresariales. Actualmente, los agentes de IA pueden acceder a datos y tomar decisiones con una intervención humana limitada. Es posible que una persona autorice el despliegue de un agente, pero eso no significa que pueda supervisar todas las acciones que este realiza una vez que entra en fase de producción.
La IA está cambiando el estado de la producción.
El software empresarial lleva años utilizando la IA; sin embargo, no se ha percibido la magnitud ni la velocidad con las que esta tecnología puede alterar el estado de un entorno de producción. Una acción aparentemente razonable en un sistema puede modificar registros o permisos en otro lugar, pero para cuando una persona advierte que algo anda mal, es posible que la acción inicial ya se haya propagado. Esto transforma las necesidades de gobernanza de las organizaciones: la aprobación humana al inicio de un proceso resulta insuficiente si la organización no puede reconstruir posteriormente lo sucedido.
Lo cierto es que este mismo problema de visibilidad ya ha surgido anteriormente. Cuando los servicios en la nube y el software como servicio (SaaS) empezaron a generalizarse, los equipos de infraestructura a menudo descubrían aplicaciones y máquinas virtuales solo después de que ya estaban en producción. La IA plantea un desafío de descubrimiento similar, pero con una diferencia notable: es capaz de interactuar activamente con otras cargas de trabajo y datos a una velocidad superior a la que los humanos pueden detectar o gestionar por sí solos.
La gobernanza comienza por saber qué puede afectar la IA
Una vez que las organizaciones saben dónde opera la IA, la siguiente pregunta es a qué pueden acceder y qué pueden modificar dichos sistemas. Un agente solo puede operar dentro de los límites de los permisos, datos y sistemas a su disposición; por tanto, comprender estas relaciones resulta fundamental. Las organizaciones deben saber de qué datos depende un agente, si dichos datos son adecuados para la tarea, qué permisos tiene el agente y quién es responsable de sus resultados.
La lección no es que las organizaciones deban simplemente bloquear la IA. Ese es un objetivo inalcanzable. Los empleados seguirán buscando formas de utilizar herramientas que faciliten su trabajo, independientemente de si cuentan con la aprobación de la empresa o no. El objetivo más práctico consiste en hacer que la IA sea lo suficientemente visible como para poder comprenderla y gobernarla, y lo suficientemente segura para que los empleados la utilicen.
Esto requiere aplicar a la IA las mismas disciplinas que llevan tiempo utilizándose en el software de producción. Las nuevas aplicaciones se prueban antes de su despliegue. Se revisan los accesos. Se realiza un seguimiento de los cambios. Se documentan las dependencias. Los sistemas críticos cuentan con procedimientos de respaldo.
La IA debe gestionarse con la misma disciplina operativa, reconociendo al mismo tiempo que los agentes pueden actuar de forma autónoma.
Las pruebas también deben tener en cuenta los datos con los que se encontrará el agente en el entorno de producción. Las organizaciones deben ser capaces de validar modelos y agentes utilizando conjuntos de datos adecuados antes de permitirles realizar cambios en entornos reales. Por consiguiente, contar con datos fiables forma parte del sistema de control que los rodea.
También es importante contar con una titularidad clara. La gobernanza se complica cuando la responsabilidad de la IA está tan dispersa que nadie puede responder por un sistema o resultado concreto.
Cuando algo sale mal, la visibilidad debe conducir a la recuperación.
Ningún modelo de gobernanza evitará todos los errores de la IA. Un objetivo más útil es definir claramente qué sucede cuando se produce uno. Aquí es donde la IA modifica la definición tradicional de resiliencia. Históricamente, la recuperación solía implicar el restablecimiento de un sistema o entorno tras una interrupción, un ciberataque u otro incidente. Sin embargo, un incidente provocado por la IA puede presentar una dinámica de inactividad diferente: el sistema puede permanecer en línea y operativo mientras un agente modifica miles de archivos, altera registros o toma decisiones que generan problemas en etapas posteriores del proceso.
Restaurarlo todo puede resultar innecesario, pero no restaurar nada podría ser inaceptable. Por ello, las organizaciones necesitan capacidad para comprender el alcance de un incidente derivado de la IA y recuperar únicamente los elementos afectados. Esto requiere una cadena de evidencias que vincule al agente, sus acciones, los datos con los que interactuó y los cambios resultantes.
Sin ese contexto, la recuperación se convierte en una cuestión de conjeturas.
Esta es también la razón por la que la preparación para la IA debe incluir un plan de contingencia ante fallos antes de que un agente pase a producción. ¿Qué sucede si un agente comienza a comportarse de forma inesperada? ¿Quién puede desactivarlo? ¿Existe un procedimiento manual si el agente deja de estar disponible? ¿Es posible rastrear sus acciones? ¿Puede la organización revertir los cambios sin tener que restaurar todo el entorno?
Aunque estas cuestiones puedan parecerse a las prácticas operativas tradicionales, cobran mayor importancia a medida que la IA asume más responsabilidades. El objetivo es lograr que los fallos sean observables, estén contenidos y permitan una recuperación efectiva.
La preparación para la IA es, en última instancia, un problema de visibilidad.
Las organizaciones que más se beneficien de la IA no serán necesariamente aquellas que desplieguen más agentes o que los lleven a producción primero, sino aquellas que comprendan qué hacen dichos sistemas una vez operativos.
Todo comienza con la visibilidad. Las organizaciones necesitan un inventario preciso de sus sistemas de IA, comprender los datos y permisos asociados a ellos, establecer una responsabilidad clara sobre sus acciones y contar con un método para rastrear los cambios cuando algo falla.
La gobernanza consiste en poner en práctica estas capacidades, pero, sin visibilidad, se reduce en gran medida a un ejercicio basado en suposiciones. Redactar una política que defina qué tiene permitido hacer un agente de IA es la parte sencilla; demostrar qué hizo realmente y revertir sus acciones cuando sea necesario es lo que verdaderamente exige estar preparado para la IA.
