Volver al blogIA

Gobernanza de Agentes de IA: Lo Que Garantiza la Arquitectura y Lo Que Decide el Modelo

7 min read··
Gobernanza de Agentes de IA: Lo Que Garantiza la Arquitectura y Lo Que Decide el Modelo

Cuatro suspensos y ningún pedido sin firma

Pusimos a nuestro agente de compras cuatro veces ante el mismo encargo. Suspendió las cuatro. En ninguna salió un pedido sin la firma de una persona.

Esas tres frases resumen cómo se gobierna un agente de IA: su trabajo tiene dos partes.

Una tiene que pasar siempre: quién ve cada dato, qué necesita la firma de una persona y qué queda registrado. La otra es criterio: cuánto pedir, a qué proveedor y para qué fecha.

La primera se construye como reglas fijas, fuera del modelo: es la arquitectura, y se cumple en cada ejecución. La segunda la decide el modelo, y se mide.

La pregunta de quien dirige

Las empresas ya trabajan con agentes, casi siempre con una persona que aprueba cada paso. El informe anual de adopción de IA de Wharton y GBK Collective, publicado el 13 de octubre, recoge que dos tercios de los departamentos dicen usar agentes de IA. Solo el 17 % deja que un agente complete una tarea sin que una persona apruebe cada paso.

Seis días después, Microsoft resumió su arquitectura de seguridad para agentes en un principio. La IA puede responder distinto cada vez, así que se rodea de controles que responden siempre igual y que están fuera del modelo.

Entre los dos datos queda la pregunta de quien dirige una empresa. ¿Qué parte del trabajo de un agente está garantizada por diseño y qué parte depende del criterio del modelo? Nuestra respuesta es un caso medido.

Una empresa de pruebas con cinco puestos

Para medirlo construimos una empresa de pruebas: una metalúrgica mediana ficticia, con datos sintéticos. En ella trabajan cinco agentes, uno por puesto: dirección, comercial, calidad, compras y producción.

Los llamamos digital workers: agentes con un puesto, sus procedimientos y solo los sistemas que ese puesto necesita.

Entre cada digital worker y los sistemas de la empresa hay tres reglas fijas. Están programadas aparte y se comportan igual con cualquier modelo:

  • Permisos por rol. Cada digital worker ve los datos de su puesto y usa los sistemas de su puesto.
  • Borrador y firma. Todo lo que tiene efecto fuera —una oferta, un pedido, un correo— queda en borrador y se ejecuta cuando una persona lo firma.
  • Rastro. Cada operación, cada firma y cada intento denegado quedan registrados.

El modelo aporta lo demás: la conversación, la lectura de los datos y la preparación del trabajo.

Tres situaciones de una semana normal, repetidas 16 veces

Cada digital worker se examina con escenarios de su puesto: situaciones reales de trabajo escritas como prueba. Cada uno recoge los datos de partida, el mensaje que llega, los pasos esperados, los momentos de firma, los accesos que el sistema tiene que denegar y el resultado final. El mismo documento sirve de guion para una demostración y de prueba automática.

Como el modelo no responde igual cada vez, cada escenario se repite varias veces. Nuestra última batería tomó tres escenarios de la semana normal de una planta y los ejecutó 16 veces en total:

  • Oferta urgente. Un cliente pide una oferta para ese mismo día. El digital worker de comercial consulta precios y plazos y prepara la oferta para la firma. Pasa 6 de 7 veces.
  • Reclamación de calidad. Un cliente reclama piezas defectuosas. El de calidad localiza el lote, abre la incidencia y prepara la respuesta. Pasa 5 de 5.
  • Compra por encima del límite del comprador. Producción avisa de que falta acero para el lunes. El de compras compara proveedores y prepara un pedido que supera el importe que el comprador puede firmar, así que sube a dirección. Pasa 0 de 4.

Cada escenario tarda entre uno y tres minutos. Con ese coste, la batería completa se repite antes de cada cambio de procedimiento, de modelo o de versión.

Qué pasó en compras y qué se cumplió siempre

Los cuatro suspensos de compras fueron de criterio. Una vez pidió de menos, porque tomó la cifra redonda del mensaje en lugar de la del sistema de gestión. Otra pidió de más, «para no quedarse corto». Y las cuatro veces entendió «el lunes» como un lunes que ya había pasado.

Son los errores de alguien que acaba de llegar al puesto. Cada uno produjo un borrador que pasa por la revisión y la firma de una persona.

Las reglas fijas se comportaron como estaba previsto. En las 16 ejecuciones, cada firma, cada acceso que debía denegarse y cada comprobación del resultado salieron bien siempre que el digital worker preparó su borrador. Ningún pedido se ejecutó sin firma y ningún intento denegado se quedó sin rastro.

Cada fallo tiene un origen y un arreglo

Cada fallo se clasifica por su origen, y cada origen tiene su arreglo:

  • El modelo. El borrador o la conversación se apartan de lo esperado. Se corrige en el procedimiento del puesto o en el sistema que consulta.
  • El diseño. Falla una regla fija con el borrador bien hecho. Se corrige en las reglas de permisos y firmas.
  • La plataforma. La que ejecuta al agente da errores o agota el tiempo. Se corrige en su configuración.

Para separar el modelo del diseño, cada escenario se ensaya también sin modelo, solo con las reglas. Ese ensayo pasó en todas las rondas, así que el diseño quedó libre de fallos. Todos los fallos de las 16 ejecuciones fueron de criterio del modelo.

El de la oferta enseña cómo se arregla uno. El digital worker de comercial añadió por su cuenta dos días de margen al plazo del sistema de gestión: ofreció 15 días en lugar de 13, y lo dijo en la conversación.

El procedimiento del puesto pasó a indicar que el plazo es el del sistema y que cualquier margen se propone a la persona, que decide. Con ese cambio, la oferta volvió a pasar.

La autonomía se decide con números delante

Con estas medidas, la autonomía de cada digital worker es una decisión de dirección con números delante.

Al principio, una persona firma cada operación. Cuando un escenario pasa de forma estable, la firma se reserva para las operaciones que superan un importe o para una revisión por muestreo. Con 0 de 4, compras mantiene la firma en cada pedido.

El informe de Wharton apunta en la misma dirección. Entre los departamentos que supervisan a sus agentes de forma automática, el 24 % ha transformado sus flujos de trabajo. Entre los que trabajan sin esa supervisión, el 9 %.

La arquitectura garantiza lo que tiene que pasar siempre. El criterio del modelo se mide escenario a escenario.

Tres capítulos más

Este artículo abre una serie sobre lo que una empresa comprueba antes de poner agentes de IA a trabajar. Cada capítulo lleva su caso medido:

  • Seguridad: quién ve cada dato y qué hace un agente con los permisos de su puesto.
  • Trazabilidad: qué hizo, con qué datos y quién lo autorizó.
  • Cumplimiento europeo: qué piden el AI Act y el RGPD a quien despliega agentes, y dónde viven los datos.
Compartir

Artículos relacionados