Governar a inteligência artificial, ou aprender finalmente a governar?
Oito lições de Sara Moroni, três fitas, algumas perguntas incômodas e uma suspeita: talvez a IA não esteja apenas mudando o trabalho, mas também o significado de dirigi-lo.
Acabei de terminar de acompanhar os oito capítulos da masterclass AI Governance Gap de Sara Moroni, cerca de quarenta minutos dedicados a uma questão sobre a qual, paradoxalmente, se discute ainda muito pouco, considerando o entusiasmo com que estamos inserindo a inteligência artificial em cada processo empresarial, cada aplicação e possivelmente até mesmo em alguma atividade que funcionava muito bem sem. Esperava um percurso sobre governança, e encontrei, mas acima de tudo me vi refletindo sobre algo que conheço bastante bem, tendo passado uma parte significativa da minha vida profissional dirigindo equipes, coordenando projetos, construindo software e, nos últimos tempos, fazendo mais ou menos as mesmas coisas com colaboradores que não tiram férias, não pedem aumentos e de vez em quando inventam soluções que ninguém havia solicitado.
A pergunta de partida de Sara é essencialmente esta: quanto sabemos realmente sobre a inteligência artificial que está sendo utilizada em nossas empresas? Não quanto a utilizamos, não quantas licenças compramos, não quantos funcionários descobriram que o ChatGPT pode economizar duas horas de trabalho, mas quanto somos efetivamente capazes de compreender seus usos, medir seus resultados, reconhecer seus riscos e intervir quando algo não funciona. É uma distinção menos banal do que pode parecer, porque na história da informática empresarial muitas vezes confundimos a presença de uma tecnologia com a capacidade de utilizá-la, e a capacidade de utilizá-la com a de governá-la. Agora que as ferramentas chegam antes mesmo que alguém tenha decidido adotá-las, o problema se tornou particularmente evidente.
A masterclass está disponível gratuitamente em masterclassaigov.it e acredito que merece ser acompanhada, especialmente por quem tem responsabilidades decisórias em uma organização. Não porque entregue uma fórmula mágica, coisa que felizmente Sara não pretende fazer, mas porque levanta uma série de perguntas às quais seria apropriado saber responder sem ter que convocar uma reunião de emergência.
Três fitas para um problema que corre
O coração do raciocínio é representado pelas três fitas ACG: Adoção, Conformidade e Governança. A adoção descreve quanto a IA penetrou na organização, a conformidade diz respeito ao cumprimento das obrigações aplicáveis e a governança mantém juntas responsabilidades, processos, resultados e capacidade de adaptação. Sara insiste em uma distinção importante: a governança não é simplesmente o terceiro escritório a ser adicionado aos outros dois, mas o sistema que permite à organização não perder o fio enquanto todo o resto continua a se mover.
Me parece uma representação eficaz, especialmente para aquelas empresas que confundem a assinatura de algum serviço e a elaboração de uma política com uma estratégia de transformação digital. O caso da empresa SaaS apresentado na quarta lição torna o conceito particularmente compreensível: uma organização tecnologicamente competente, na qual a inteligência artificial produz resultados autênticos, pode descobrir que não possui uma visão compartilhada de seus usos. A competência dos indivíduos não se transforma automaticamente em uma capacidade coletiva. É um problema que qualquer um que tenha dirigido grupos de desenvolvedores deveria reconhecer imediatamente, porque pode-se ter uma equipe composta por pessoas excelentes e um projeto que avança sem uma direção suficientemente clara.
O outro caso, o da empresa MedTech, destaca o problema oposto. Uma empresa pode ser extremamente rigorosa na governança da inteligência artificial incorporada em seus produtos e muito menos atenta às ferramentas utilizadas diariamente nos escritórios. A cultura do controle existe, mas ficou confinada dentro de um perímetro. É uma observação interessante porque demonstra o quão perigoso é falar de maturidade empresarial como se fosse uma propriedade uniforme, uma nota a ser atribuída a toda a organização, enquanto na realidade a mesma empresa pode ser extraordinariamente disciplinada em um departamento e surpreendentemente improvisada no ao lado.
Até aqui estou basicamente de acordo. Onde começo a me questionar é sobre a velocidade das três fitas, porque a representação funciona muito bem para mostrar que devem avançar juntas, mas a questão que hoje me parece mais urgente é entender o que acontece quando uma delas acelera a ponto de tornar quase impossível para as outras acompanhá-la.
Já vi esse problema, só que antes tinha uma mesa
Nos últimos meses, estou utilizando agentes de IA para desenvolver simultaneamente funcionalidades e produtos diferentes. Não me limito a pedir código e colá-lo em algum lugar esperando que funcione: atribuo objetivos, defino restrições, verifico resultados, intervenho nas decisões arquitetônicas, faço corrigir erros e às vezes descubro que um dos agentes encontrou uma solução melhor do que a minha. Percebi que essa atividade se assemelha cada vez menos à programação tradicional e cada vez mais ao que eu fazia quando dirigia grupos de desenvolvedores. A diferença fundamental é que uma sequência de trabalho que antes levava dias pode hoje ser realizada no tempo necessário para preparar um café, e se enquanto isso estou acompanhando outro projeto, posso me encontrar com várias decisões técnicas já transformadas em resultados concretos.
Isso não significa que os agentes sejam empregados, nem que possuam autonomia no sentido humano do termo. Significa, no entanto, que o problema organizacional da delegação se separou da velocidade humana com a qual estávamos acostumados a gerenciá-lo. E aqui surge uma pergunta que gostaria de adicionar ao percurso de Sara: estamos construindo uma governança capaz de acompanhar essa aceleração ou estamos tentando impor a sistemas radicalmente novos os mesmos tempos decisórios das organizações tradicionais?
Sara, por outro lado, não propõe de forma alguma um sistema imóvel. No quinto capítulo, apresenta uma estrutura em oito etapas, desde o planejamento até a atualização, passando por recursos, KPI, implementação, formação, início e monitoramento. Fala de controles contínuos, de revisão periódica e até mesmo da necessidade de reconhecer benefícios inesperados. É um ponto importante, porque não faria sentido reprovar uma concepção estática que ela mesma procura explicitamente superar.
Eu daria um passo além, distinguindo duas velocidades de governança. A primeira é a organizacional, na qual se estabelecem objetivos, responsabilidades, orçamentos, limites e critérios de aceitação de risco. A segunda é a operacional, na qual um sistema deve respeitar esses limites enquanto trabalha, sem esperar uma nova autorização para cada ação individual. Um agente que pode ler um repositório, propor alterações e executar testes em um ambiente isolado não precisa do mesmo nível de supervisão preventiva de um agente autorizado a publicar código em produção, enviar dados a terceiros ou tomar decisões que afetam as pessoas. A distinção não deve depender simplesmente do fato de ambos serem chamados de agentes de IA, mas do poder concreto que entregamos a eles.
Em outras palavras, não precisamos necessariamente controlar cada movimento. Precisamos saber qual espaço de movimento autorizamos, quais consequências podemos suportar e quem pode intervir quando esse perímetro é ultrapassado. Que, pensando bem, é uma definição bastante razoável de gestão, mesmo quando os colaboradores são seres humanos.
A responsabilidade não é uma assinatura no formulário
Um dos pontos que considero mais importantes da masterclass diz respeito à atribuição de responsabilidades. Sara observa corretamente que não podemos esperar que um erro ocorra para nos perguntarmos quem é o responsável. Concordo, mas acredito que com agentes autônomos a questão merece um aprofundamento adicional, pois nas organizações é relativamente fácil atribuir uma responsabilidade formal e muito mais difícil conceder a quem a assume o poder efetivo de exercê-la.
Imaginemos um responsável ao qual é confiada a supervisão de um sistema de IA que interage com ferramentas diferentes, modifica informações, consulta arquivos e produz decisões operacionais. Podemos escrever seu nome em um documento, inseri-lo em um organograma e declarar que ele continua responsável pelo funcionamento do sistema. Mas ele pode interrompê-lo? Sabe quais ferramentas utilizou? Pode reconstruir a sequência que produziu um resultado inesperado? Conhece os limites das permissões concedidas? Se descobrir um problema, pode revogar esses acessos sem esperar a intervenção de outras cinco pessoas?
Se a resposta for negativa, talvez tenhamos identificado o destinatário das consequências, mas não necessariamente construímos uma responsabilidade exercitável. E esse é um dos pontos em que, na minha opinião, uma governança moderna deveria ser particularmente concreta: menos ênfase na assinatura, mais atenção à capacidade de observar, compreender e intervir.
Naturalmente, nem todas as operações são reversíveis. Uma informação confidencial enviada para fora não volta a ser secreta porque pressionamos um botão, assim como uma decisão que afetou os direitos de alguém não se torna inofensiva apenas porque o sistema mantém um registro das atividades. A delegação requer, portanto, limites proporcionais à natureza das consequências, não uma confiança indiscriminada na possibilidade de remediar posteriormente.
A governança também tem um custo. E deveria prestar contas do seu trabalho
Outro aspecto que apreciei no percurso de Sara é a atenção ao custo total da adoção. Não apenas licenças e infraestruturas, mas formação, aprendizado, manutenção de competências, tempo necessário para compreender e utilizar as ferramentas. É uma perspectiva que compartilho, e por isso me surgiria a mesma pergunta que fazemos à inteligência artificial: quanto custa, o que produz e como sabemos se está funcionando?
Porque até uma regra consome recursos. Exige alguém que a defina, alguém que a interprete, alguém que verifique seu cumprimento, alguém que atualize a documentação e, frequentemente, outra pessoa que aguarde o resultado de todas essas atividades antes de poder começar a trabalhar. Uma regra pode ser indispensável e cara ao mesmo tempo, naturalmente, mas por isso mesmo deveria existir uma forma de avaliar sua eficácia, em vez de considerar sua simples presença como uma demonstração de boa gestão.
No framework, Sara rejeita apropriadamente a ideia de KPIs universais, pois empresas diferentes perseguem objetivos diferentes. Compartilho a prudência, mas a acompanharia com alguns exemplos muito concretos de medição. Não apenas quantos utilizam a IA, mas quanto valor líquido é produzido após considerar verificações, erros e retrabalhos. Não apenas quantos procedimentos foram definidos, mas quantas situações problemáticas somos efetivamente capazes de reconhecer e conter. E não apenas quantos riscos evitamos, mas também quanto tempo levamos para autorizar um experimento, quanto custam nossos controles e quantas iniciativas são abandonadas porque o caminho previsto é desproporcional em relação à sua magnitude.
Este último ponto requer cautela: nem todo experimento impedido representa uma oportunidade perdida. Às vezes significa simplesmente ter evitado uma péssima ideia. Mas o custo da governança deveria se tornar visível tanto quanto o da tecnologia governada, caso contrário, corremos o risco de construir organizações capazes de documentar perfeitamente tudo o que não conseguem mais fazer.
E é aqui que surge uma das questões mais delicadas: a Shadow IA. Sara tem o mérito de lembrar que quem introduz uma ferramenta sem autorização não o faz necessariamente por irresponsabilidade, mas muitas vezes porque está tentando trabalhar melhor. É uma distinção fundamental. Se uma organização torna impraticável o caminho oficial, não deveria se surpreender quando alguém busca uma alternativa. A resposta não pode ser apenas adicionar proibições, mas compreender por que essa necessidade não consegue encontrar uma solução governada. Uma boa governança deveria reduzir a necessidade de se esconder, não se limitar a melhorar a capacidade de descobrir quem se esconde.
Do framework à segunda-feira de manhã
Se eu tivesse que sugerir uma evolução da masterclass, não adicionaria outras grandes categorias teóricas. O percurso já é suficientemente claro e os oito passos constituem uma estrutura compreensível. Eu gostaria, na verdade, de ver um dos dois casos empresariais acompanhado além do diagnóstico, até as decisões operacionais e os resultados. No caso MedTech, por exemplo, seria interessante acompanhar o que acontece nas semanas seguintes à descoberta do problema: quais ferramentas são catalogadas primeiro, quais acessos são limitados, quais usos podem continuar, quem toma as decisões, quais métricas são introduzidas e quais resultados emergem após um mês.
Não precisaria de outro tratado, mas de um exemplo completo, possivelmente com alguns números e algumas decisões difíceis. Porque a transição da conscientização para a ação é exatamente o ponto em que muitos bons modelos organizacionais encontram a resistência da realidade. A realidade, notoriamente, não leu o framework, não participa das reuniões de alinhamento e tende a apresentar problemas pouco respeitosos das caixas que preparamos para classificá-los.
Eu também acrescentaria uma forma de autodiagnóstico, poucas perguntas às quais um empresário possa responder sem recorrer a um consultor: quais sistemas de IA estão influenciando as decisões da minha organização? Quais dados podem alcançar? Quem pode modificar suas permissões? O que aconteceria se amanhã um desses sistemas produzisse um erro significativo? E, acima de tudo, em quanto tempo perceberíamos?
São perguntas que também teriam o mérito de distinguir a governança relatada da governança praticada.
Talvez devamos aprender a governar de forma diferente
No final dos oito vídeos, a coisa que mais me impressionou não é tanto a necessidade de introduzir uma governança da inteligência artificial, sobre a qual seria difícil não concordar, mas a possibilidade de que essa tecnologia finalmente nos obrigue a discutir como governamos as organizações em geral.
Por décadas, construímos estruturas nas quais a capacidade de controle frequentemente era confundida com o número de autorizações, a responsabilidade com a posição no organograma e o coordenamento com a necessidade de saber continuamente o que todos estavam fazendo. Quem já dirigiu pessoas conhece o cansaço desses mecanismos e também conhece seu paradoxo: quando funcionam demais, atrasam o trabalho; quando funcionam de menos, param de fornecer uma direção. O verdadeiro trabalho da gestão consiste em encontrar um equilíbrio que não permaneça válido apenas no papel.
Com os agentes de IA, esse equilíbrio se torna ainda mais importante, mas também mais interessante. Podemos projetar sistemas nos quais muitos controles estão incorporados nas permissões, nas arquiteturas, nos limiares operacionais e na possibilidade de interromper um processo, deixando às pessoas a tarefa de estabelecer objetivos, avaliar consequências e tomar as decisões que realmente importam. Não é a abolição da responsabilidade humana, mas uma colocação mais precisa dela. Não significa abrir mão do controle, significa parar de identificá-lo necessariamente com uma autorização contínua.
E talvez devêssemos aplicar a mesma lógica às regras de governança: verificar periodicamente não apenas se estão sendo respeitadas, mas também se ainda fazem sentido, se produzem os efeitos previstos e se seu custo permanece proporcional aos riscos que pretendem conter. Dessa forma, a governança da organização se tornaria um processo capaz de aprender, em vez de uma estrutura que pretende ensinar os outros sem nunca se submeter a um exame.
É essa, na minha opinião, a reflexão mais interessante que a masterclass de Sara Moroni permite iniciar. Seus três vídeos ajudam a reconhecer um problema real e o framework oferece um caminho para enfrentá-lo. O próximo passo, sobre o qual eu gostaria de continuar refletindo, diz respeito à capacidade de distribuir autonomia sem perder responsabilidade, de tornar o controle eficaz sem torná-lo onipresente, de construir organizações capazes de mudar sem ter que pedir permissão a si mesmas a cada vez.
Porque se a inteligência artificial pode mudar a maneira como trabalhamos, seria bastante curioso usá-la para tornar ainda mais eficientes os mesmos mecanismos organizacionais que por anos impediram as pessoas de trabalharem bem.
E talvez uma governança bem-sucedida não deva ser medida apenas pela quantidade de erros que consegue impedir, mas também pela quantidade de coisas boas que finalmente permite fazer.
A masterclass
Quem quiser se aprofundar pode seguir gratuitamente os oito capítulos de AI Governance Gap, a masterclass de Sara Moroni dedicada à relação entre a adoção da inteligência artificial, conformidade normativa e governança das organizações.
AI Governance Gap: acesse a masterclass
Cerca de 45 minutos, dois casos empresariais e um modelo em oito etapas. Um bom ponto de partida para quem deseja se fazer melhores perguntas antes de adquirir mais uma licença de IA.
O seu projeto está bloqueado por uma limitação técnica?
Reserve 15 minutos