¿Gobernar la inteligencia artificial o aprender finalmente a gobernar?

¿Gobernar la inteligencia artificial o aprender finalmente a gobernar?

Ocho lecciones de Sara Moroni, tres cintas, algunas preguntas incómodas y un sospecha: quizás la IA no solo está cambiando el trabajo, sino también el significado de dirigirlo.

Acabo de terminar de seguir los ocho capítulos de la masterclass AI Governance Gap de Sara Moroni, unos cuarenta minutos dedicados a una cuestión sobre la cual, paradójicamente, se discute aún demasiado poco, considerando el entusiasmo con el que estamos incorporando la inteligencia artificial en cada proceso empresarial, cada aplicación y posiblemente también en alguna actividad que funcionaba perfectamente sin ella. Esperaba un recorrido sobre la gobernanza, y lo encontré, pero sobre todo me encontré reflexionando sobre algo que conozco bastante bien, habiendo pasado una parte considerable de mi vida profesional dirigiendo equipos, coordinando proyectos, construyendo software y, en los últimos tiempos, haciendo más o menos lo mismo con colaboradores que no toman vacaciones, no piden aumentos y de vez en cuando inventan soluciones que nadie les había solicitado.

La pregunta de la que parte Sara es esencialmente esta: ¿cuánto sabemos realmente de la inteligencia artificial que se utiliza en nuestras empresas? No cuánto la utilizamos, no cuántas licencias hemos adquirido, no cuántos empleados han descubierto que ChatGPT puede ahorrarles dos horas de trabajo, sino cuánto somos realmente capaces de comprender sus usos, medir sus resultados, reconocer sus riesgos e intervenir cuando algo no funciona. Es una distinción menos banal de lo que puede parecer, porque en la historia de la informática empresarial a menudo hemos confundido la presencia de una tecnología con la capacidad de utilizarla, y la capacidad de utilizarla con la de gobernarla. Ahora que las herramientas llegan incluso antes de que alguien haya decidido adoptarlas, el problema se ha vuelto particularmente evidente.

La masterclass está disponible gratuitamente en masterclassaigov.it y creo que merece ser seguida, especialmente por quienes tienen responsabilidades decisionales en una organización. No porque entregue una fórmula mágica, cosa que afortunadamente Sara no pretende hacer, sino porque plantea una serie de preguntas a las que sería conveniente saber responder sin tener que convocar urgentemente una reunión.

Tres cintas para un problema que corre

El corazón del razonamiento está representado por las tres cintas ACG: Adopción, Cumplimiento y Gobernanza. La adopción describe cuánto ha penetrado la IA en la organización, el cumplimiento se refiere al respeto de las obligaciones aplicables y la gobernanza mantiene unidas responsabilidades, procesos, resultados y capacidad de adaptación. Sara insiste en una distinción importante: la gobernanza no es simplemente la tercera oficina que añadir a las otras dos, sino el sistema que permite a la organización no perder el hilo mientras todo lo demás sigue moviéndose.

Me parece una representación efectiva, especialmente para aquellas empresas que confunden la suscripción a algún servicio y la redacción de una política con una estrategia de transformación digital. El caso de la empresa SaaS propuesto en la cuarta lección hace que el concepto sea particularmente comprensible: una organización tecnológicamente competente, en la que la inteligencia artificial produce resultados auténticos, puede descubrir que no posee una visión compartida de sus usos. La competencia de los individuos no se transforma automáticamente en una capacidad colectiva. Es un problema que cualquiera que haya dirigido grupos de desarrolladores debería reconocer de inmediato, porque se puede tener un equipo compuesto por personas excelentes y un proyecto que avanza sin una dirección suficientemente clara.

El otro caso, el de la empresa MedTech, pone de relieve el problema opuesto. Una empresa puede ser extremadamente rigurosa en la gobernanza de la inteligencia artificial incorporada en sus productos y mucho menos atenta a las herramientas utilizadas diariamente en las oficinas. La cultura del control existe, pero ha permanecido confinada dentro de un perímetro. Es una observación interesante porque demuestra cuán peligroso es hablar de madurez empresarial como si se tratara de una propiedad uniforme, una calificación que asignar a toda la organización, mientras que en realidad la misma empresa puede ser extraordinariamente disciplinada en un departamento y sorprendentemente improvisada en el adyacente.

Hasta aquí estoy básicamente de acuerdo. Donde empiezo a cuestionarme es sobre la velocidad de las tres cintas, porque la representación funciona muy bien para mostrar que deben avanzar juntas, pero la cuestión que hoy me parece más urgente es entender qué sucede cuando una de ellas acelera hasta el punto de hacer casi imposible que las otras la sigan.

Ya he visto este problema, solo que antes tenía un escritorio

En los últimos meses he estado utilizando agentes de IA para desarrollar simultáneamente funcionalidades y productos diferentes. No me limito a pedir código y pegarlo en algún lugar esperando que funcione: asigno objetivos, defino restricciones, verifico resultados, intervengo en decisiones arquitectónicas, hago corregir errores y a veces descubro que uno de los agentes ha encontrado una solución mejor que la mía. Me he dado cuenta de que esta actividad se parece cada vez menos a la programación tradicional y cada vez más a lo que hacía cuando dirigía grupos de desarrolladores. La diferencia fundamental es que una secuencia de trabajo que antes requería días puede hoy consumirse en el tiempo necesario para preparar un café, y si mientras tanto estoy siguiendo otro proyecto podría encontrarme con varias decisiones técnicas ya transformadas en resultados concretos.

Esto no significa que los agentes sean empleados, ni que posean autonomía en el sentido humano del término. Sin embargo, significa que el problema organizativo de la delegación se ha separado de la velocidad humana con la que estábamos acostumbrados a gestionarlo. Y aquí surge una pregunta que me gustaría añadir al recorrido de Sara: ¿estamos construyendo una gobernanza capaz de acompañar esta aceleración o estamos tratando de imponer a sistemas radicalmente nuevos los mismos tiempos decisionales de las organizaciones tradicionales?

Sara, por otro lado, no propone en absoluto un sistema inmóvil. En el quinto capítulo presenta un marco en ocho pasos, desde la planificación hasta la actualización, pasando por recursos, KPI, implementación, formación, inicio y monitoreo. Habla de controles continuos, de revisión periódica e incluso de la necesidad de reconocer beneficios inesperados. Es un punto importante, porque no tendría sentido reprocharle una concepción estática que ella misma busca explícitamente superar.

Yo daría un paso más, distinguiendo dos velocidades de gobierno. La primera es la organizativa, en la que se establecen objetivos, responsabilidades, presupuestos, límites y criterios de aceptación del riesgo. La segunda es la operativa, en la que un sistema debe respetar esos límites mientras trabaja, sin esperar una nueva autorización para cada acción individual. Un agente que puede leer un repositorio, proponer cambios y ejecutar pruebas en un entorno aislado no necesita el mismo nivel de supervisión preventiva que un agente autorizado a publicar código en producción, enviar datos a terceros o tomar decisiones que afectan a las personas. La distinción no debería depender simplemente del hecho de que ambos se llamen agentes de IA, sino del poder concreto que les hemos otorgado.

En otras palabras, no necesitamos necesariamente controlar cada movimiento. Debemos saber qué espacio de movimiento hemos autorizado, qué consecuencias podemos soportar y quién puede intervenir cuando se supera ese perímetro. Que, pensándolo bien, es una definición bastante razonable de gestión incluso cuando los colaboradores son seres humanos.

La responsabilidad no es una firma en el formulario

Uno de los puntos que considero más importantes de la masterclass se refiere a la atribución de responsabilidades. Sara observa acertadamente que no podemos esperar a que ocurra un error para preguntarnos quién debe responder. Estoy de acuerdo, pero creo que con los agentes autónomos la cuestión merece un análisis más profundo, porque en las organizaciones es relativamente fácil atribuir una responsabilidad formal y mucho más difícil otorgar a quien la asume el poder efectivo para ejercerla.

Imaginemos a un responsable al que se le confía la supervisión de un sistema de IA que interactúa con diferentes herramientas, modifica información, consulta archivos y produce decisiones operativas. Podemos escribir su nombre en un documento, incluirlo en un organigrama y declarar que es él quien responde del funcionamiento del sistema. Pero, ¿puede interrumpirlo? ¿Sabe qué herramientas ha utilizado? ¿Puede reconstruir la secuencia que produjo un resultado inesperado? ¿Conoce los límites de los permisos concedidos? Si descubre un problema, ¿puede revocar esos accesos sin esperar la intervención de otras cinco personas?

Si la respuesta es negativa, quizás hemos identificado al destinatario de las consecuencias, pero no hemos necesariamente construido una responsabilidad ejercitable. Y este es uno de los puntos en los que, en mi opinión, una gobernanza moderna debería ser particularmente concreta: menos énfasis en la firma, más atención a la capacidad de observar, comprender e intervenir.

Naturalmente, no todas las operaciones son reversibles. Una información confidencial enviada al exterior no vuelve a ser secreta porque hayamos presionado un botón, así como una decisión que ha afectado los derechos de alguien no se vuelve inofensiva solo porque el sistema mantiene un registro de las actividades. La delegación requiere, por tanto, límites proporcionales a la naturaleza de las consecuencias, no una confianza indiscriminada en la posibilidad de remediar posteriormente.

También la gobernanza tiene un costo. Y debería rendir cuentas de su trabajo

Otro aspecto que he apreciado en el camino de Sara es la atención al costo total de la adopción. No solo licencias e infraestructuras, sino formación, aprendizaje, mantenimiento de competencias, tiempo necesario para comprender y utilizar las herramientas. Es una perspectiva que comparto, y precisamente por eso me gustaría dirigir a la gobernanza la misma pregunta que dirigimos a la inteligencia artificial: ¿cuánto cuesta, qué produce y cómo sabemos si está funcionando?

Porque incluso una regla consume recursos. Requiere a alguien que la defina, a alguien que la interprete, a alguien que verifique su cumplimiento, a alguien que actualice la documentación y, frecuentemente, a otra persona que espere el resultado de todas estas actividades antes de poder comenzar a trabajar. Una regla puede ser indispensable y costosa al mismo tiempo, por supuesto, pero precisamente por eso debería existir una forma de evaluar su efectividad, en lugar de considerar su simple presencia como una demostración de buena gestión.

En el marco, Sara rechaza apropiadamente la idea de KPI universales, porque las empresas diferentes persiguen objetivos diferentes. Comparto la prudencia, pero la acompañaría con algún ejemplo muy concreto de medición. No solo cuántos utilizan la IA, sino cuánto valor neto se produce después de considerar verificaciones, errores y retrabajos. No solo cuántos procedimientos se han definido, sino cuántas situaciones problemáticas somos efectivamente capaces de reconocer y contener. Y no solo cuántos riesgos hemos evitado, sino también cuánto tiempo tardamos en autorizar un experimento, cuánto cuestan nuestros controles y cuántas iniciativas se abandonan porque el camino previsto es desproporcionado en relación a su alcance.

Este último punto requiere cautela: no cada experimento impedido representa una oportunidad perdida. A veces significa simplemente haber evitado una mala idea. Pero el costo del gobierno debería hacerse visible tanto como el de la tecnología gobernada, de lo contrario, corremos el riesgo de construir organizaciones capaces de documentar perfectamente todo lo que ya no pueden hacer.

Y aquí es donde llega una de las cuestiones más delicadas: la Shadow IA. Sara tiene el mérito de recordar que quien introduce una herramienta sin autorización no lo hace necesariamente por irresponsabilidad, sino a menudo porque está tratando de trabajar mejor. Es una distinción fundamental. Si una organización hace impracticable el camino oficial, no debería sorprenderse cuando alguien busca una alternativa. La respuesta no puede ser solo añadir prohibiciones, sino comprender por qué esa necesidad no puede encontrar una solución gobernada. Una buena gobernanza debería reducir la necesidad de esconderse, no limitarse a mejorar la capacidad de descubrir quién se esconde.

Del marco al lunes por la mañana

Si tuviera que sugerir una evolución de la masterclass, no añadiría otras grandes categorías teóricas. El camino ya es suficientemente claro y los ocho pasos constituyen una estructura comprensible. Me gustaría más bien ver uno de los dos casos empresariales acompañado más allá del diagnóstico, hasta las decisiones operativas y los resultados. En el caso de MedTech, por ejemplo, sería interesante seguir lo que ocurre en las semanas posteriores al descubrimiento del problema: qué herramientas se censan primero, qué accesos se limitan, qué usos pueden continuar, quién toma las decisiones, qué métricas se introducen y qué resultados emergen después de un mes.

No haría falta otro tratado, sino un ejemplo completo, posiblemente con algunos números y algunas decisiones difíciles. Porque el paso de la conciencia a la acción es exactamente el punto en el que muchos buenos modelos organizativos encuentran la resistencia de la realidad. La realidad, notoriamente, no ha leído el marco, no participa en las reuniones de alineación y tiende a presentar problemas poco respetuosos de las casillas que hemos preparado para clasificarlos.

También añadiría una forma de autodiagnóstico, pocas preguntas a las que un empresario pueda responder sin recurrir a un consultor: ¿qué sistemas de IA están influyendo en las decisiones de mi organización? ¿Qué datos pueden alcanzar? ¿Quién puede modificar sus permisos? ¿Qué pasaría si mañana uno de estos sistemas produjera un error significativo? Y sobre todo, ¿en cuánto tiempo nos daríamos cuenta?

Son preguntas que también tendrían el mérito de distinguir la gobernanza narrada de la gobernanza practicada.

Quizás debemos aprender a gobernar de manera diferente

Al final de los ocho videos, lo que más me ha impresionado no es tanto la necesidad de introducir una gobernanza de la inteligencia artificial, sobre la cual sería difícil no estar de acuerdo, sino la posibilidad de que esta tecnología finalmente nos obligue a discutir cómo gobernamos las organizaciones en general.

Durante décadas hemos construido estructuras en las cuales la capacidad de control se confundía frecuentemente con el número de pasos autorizativos, la responsabilidad con la posición en el organigrama y la coordinación con la necesidad de saber continuamente qué estaban haciendo todos. Quien ha dirigido personas conoce la fatiga de estos mecanismos y también conoce su paradoja: cuando funcionan demasiado, ralentizan el trabajo; cuando funcionan demasiado poco, dejan de proporcionar una dirección. El verdadero oficio del management consiste en encontrar un equilibrio que no permanezca válido solo en el papel.

Con los agentes de IA, ese equilibrio se vuelve aún más importante, pero también más interesante. Podemos diseñar sistemas en los cuales muchos controles estén incorporados en los permisos, en las arquitecturas, en los umbrales operativos y en la posibilidad de interrumpir un proceso, dejando a las personas la tarea de establecer objetivos, evaluar consecuencias y tomar las decisiones que realmente importan. No se trata de abolir la responsabilidad humana, sino de situarla de manera más precisa. No significa renunciar al control, significa dejar de identificarlo necesariamente con una autorización continua.

Y quizás deberíamos aplicar la misma lógica a las reglas de gobernanza: verificar periódicamente no solo que se respeten, sino también que aún tengan sentido, que produzcan los efectos previstos y que su costo siga siendo proporcional a los riesgos que intentan contener. De este modo, el gobierno de la organización se convertiría en un proceso capaz de aprender, en lugar de ser una estructura que pretende enseñar a los demás sin nunca someterse a un examen.

Esta es, en mi opinión, la reflexión más interesante que la masterclass de Sara Moroni permite iniciar. Sus tres cintas ayudan a reconocer un problema real y el marco ofrece un camino para abordarlo. El siguiente paso, sobre el cual me gustaría seguir reflexionando, se refiere a la capacidad de distribuir autonomía sin perder responsabilidad, de hacer el control efectivo sin hacerlo omnipresente, de construir organizaciones capaces de cambiar sin tener que pedir permiso a sí mismas cada vez.

Porque si la inteligencia artificial puede cambiar la forma en que trabajamos, sería bastante curioso utilizarla para hacer aún más eficientes los mismos mecanismos organizativos que durante años han impedido a las personas trabajar bien.

Y quizás una gobernanza exitosa no debería medirse solo por cuántos errores logra prevenir, sino también por cuántas cosas buenas finalmente permite hacer.


La masterclass

Quien desee profundizar puede seguir gratuitamente los ocho capítulos de AI Governance Gap, la masterclass de Sara Moroni dedicada a la relación entre la adopción de la inteligencia artificial, la conformidad normativa y el gobierno de las organizaciones.

AI Governance Gap: accede a la masterclass

Alrededor de 45 minutos, dos casos empresariales y un modelo en ocho pasos. Un buen punto de partida para quienes quieren hacerse mejores preguntas antes de adquirir la enésima licencia de IA.

¿Tu proyecto está bloqueado por un límite técnico?

Reserva 15 minutos