Do risco catalogado à cobertura auditável: um artefato para operacionalizar a auditoria de gen AI corporativa

Do risco catalogado à cobertura auditável: um artefato para operacionalizar a auditoria de gen AI corporativa

Resumo A adoção corporativa de inteligência artificial generativa avançou mais rapidamente do que a capacidade das organizações de prestar avaliação independente sobre seu uso. Embora taxonomias de risco de IA tenham se multiplicado, há menor disponibilidade de métodos executáveis de controle e auditoria, especialmente do ponto de vista da terceira linha da organização que adota soluções enterprise de terceiros. Este artigo desenvolve e avalia, por Design Science Research, um artefato destinado a traduzir risco catalogado em cobertura de auditoria executável. O artefato organiza o universo auditável de gen AI corporativa em doze macroprocessos, nove trabalhos de auditoria interdependentes, um instrumento técnico de avaliação do fluxo de dados em cinco pontos e uma escala de maturidade da cobertura em cinco níveis. A aplicação em uma função de auditoria interna de organização brasileira do setor financeiro evidenciou, entre outros achados, a relevância da IA embarcada como vetor não governado e o risco de segunda ordem produzido por controles de monitoramento de prompts e saídas. A contribuição do trabalho está em preencher a camada intermediária entre taxonomias de risco, frameworks de gestão e programas de auditoria, delimitando de forma objetiva o que a organização adotante pode auditar e o que permanece dependente de assurance de terceiros.

Palavras-chave: auditoria interna; inteligência artificial generativa; governança de IA; gestão de riscos; assurance; Design Science Research.

1. Introdução

A adoção corporativa de inteligência artificial generativa colocou as organizações diante de uma pergunta aparentemente simples: é possível estar confortável com o uso de IA na empresa? Em muitas organizações, a resposta honesta ainda é negativa, não necessariamente por ausência de preocupação, mas porque o próprio universo de uso permanece parcialmente desconhecido. Plataformas contratadas deliberadamente, funcionalidades embarcadas em softwares já existentes, assistentes ativados por fornecedores e usos informais pelos colaboradores formam um cenário difícil de mapear e, portanto, difícil de auditar.

A produção técnica e acadêmica recente avançou de forma significativa na identificação de riscos de IA. O MIT AI Risk Repository consolida mais de 1.700 riscos extraídos de 74 frameworks e os organiza em sete domínios. Em contraste, sua catalogação de mitigações reúne 831 medidas extraídas de apenas 13 frameworks, em versão preliminar. Essa diferença ilustra uma assimetria relevante: sabe-se cada vez mais nomear os riscos, mas há menor maturidade sobre como controlá-los e, sobretudo, sobre como a auditoria interna deve verificar a existência e a efetividade desses controles.

O problema torna-se mais agudo quando a perspectiva deixa de ser a do desenvolvedor do modelo e passa a ser a da organização adotante. Empresas que contratam Microsoft 365 Copilot, Claude, Gemini ou soluções equivalentes não treinam nem hospedam o modelo de fundação. Tampouco controlam diretamente seu comportamento interno. O que permanece auditável é o envelope organizacional que envolve o uso: governança, inventário, contratos, identidade e acesso, configuração do tenant, conectores, logs, privacidade, casos de uso, conduta dos usuários e gestão de fornecedores.

A pergunta de pesquisa é: como uma função de auditoria interna pode prestar avaliação independente sobre a utilização corporativa de gen AI de forma sistemática, verificável e replicável? O trabalho delimita seu escopo à adoção de soluções enterprise de terceiros e à IA embarcada em software já contratado. Não trata de modelos desenvolvidos ou treinados internamente, cuja auditoria envolve objeto, evidências e competências distintas.

Três dilemas estruturais orientam a investigação. O primeiro é o não determinismo: sistemas de gen AI produzem saídas probabilísticas, de modo que a reperformance tradicional tem alcance limitado. O segundo é o alcance: o modelo de fundação está fora do perímetro de controle direto da organização adotante. O terceiro é o critério: na ausência de normas internas maduras, a auditoria pode acabar avaliando aderência a políticas inexistentes ou frágeis, produzindo conforto ilusório. Diante disso, este artigo propõe um artefato para decompor o uso corporativo de gen AI em trabalhos auditáveis, com fronteiras, dependências e evidências claramente definidas.

2. Fundamentação

O trabalho apoia-se em quatro corpos de referência. O primeiro é composto por taxonomias de risco de IA, em especial o MIT AI Risk Repository, utilizado como baliza externa de completude. Sua utilidade está em organizar os tipos de risco reconhecidos pela literatura consolidada; sua limitação, para fins de auditoria, é operar no nível do risco, e não no nível do controle, do teste ou da evidência.

O segundo corpo é formado por frameworks de gestão de risco de IA, como o NIST AI Risk Management Framework 1.0 e a ISO/IEC 42001:2023. Esses referenciais indicam princípios, funções e requisitos de sistema de gestão. Contudo, tendem a ser normativos quanto ao que deve existir e menos específicos quanto a como uma terceira linha deve testar controles em uma organização adotante.

O terceiro corpo é a orientação profissional de auditoria interna. O AI Auditing Framework do IIA, atualizado em 2024, oferece conhecimento fundamental, organiza considerações relevantes e se ancora no Modelo das Três Linhas. Porém, opera majoritariamente no nível de checklist e de consideração profissional, não como um programa de trabalho completo com sequência, testes e evidências.

O quarto corpo é a prática de planejamento e execução de auditoria interna. Na prática, a tentativa de criar uma única auditoria de IA tende a produzir escopo amplo demais, testes rasos e achados genéricos. A lacuna identificada está, portanto, entre a taxonomia de risco, o framework de gestão e a orientação profissional: falta uma camada intermediária que traduza riscos e princípios em trabalhos executáveis.

3. Método

A abordagem metodológica adotada é a Design Science Research, adequada quando o objetivo é construir e avaliar uma solução para uma classe de problemas organizacionais. O artefato produzido é um modelo de referência para o universo auditável de gen AI corporativa. O desenvolvimento seguiu quatro ciclos.

No ciclo de problematização, a lacuna foi identificada a partir da prática de planejamento anual de auditoria e da revisão dos referenciais aplicáveis. Constatou-se que tratar gen AI como um único trabalho de auditoria gerava escopo inexequível, pois misturava governança, contratos, segurança, privacidade, conduta, casos de uso e regulação em uma mesma frente.

No ciclo de desenho, o domínio foi decomposto a partir da cadeia real de eventos que leva uma tecnologia de IA da contratação ao uso cotidiano. Essa decomposição resultou em macroprocessos e, posteriormente, em trabalhos de auditoria delimitados para execução em ciclos normais de trabalho.

No ciclo de aplicação, o artefato foi utilizado em função de auditoria interna de uma organização brasileira do setor financeiro. O material disponível não informa período de execução, composição da equipe, plataformas avaliadas, número de usuários ou detalhamento quantitativo dos achados. Esses dados devem ser inseridos pelo autor para fortalecer a avaliação empírica e sustentar critérios de impacto e resultados.

No ciclo de avaliação, o artefato foi analisado segundo quatro critérios: completude da cobertura em relação aos domínios de risco de referência; capacidade de gerar achados relevantes na aplicação real; aderência a referenciais normativos e profissionais; e replicabilidade por outras organizações sem acesso ao contexto original.

4. O artefato: universo auditável de gen AI corporativa

O artefato propõe substituir a ideia de uma auditoria única de IA por um universo auditável composto por doze macroprocessos: estratégia e governança de IA; aquisição e gestão de fornecedores; identidade e acesso; configuração e segurança do tenant; dados e conectores; uso e conduta; monitoramento e detecção; casos de uso e agentes; privacidade e regulatório; gestão de incidentes; pessoas e cultura; e métricas e melhoria contínua.

Esses macroprocessos são cobertos por nove trabalhos de auditoria: T1, governança e inventário de gen AI; T2, shadow AI e Data Loss Prevention; T3, configuração e segurança do tenant; T4, gestão de fornecedores de IA; T5, uso, conduta e cultura; T6, casos de uso de maior risco e agentes; T7, privacidade de dados; T8, aderência regulatória de IA, de natureza transversal; e T9, IA embarcada e ciclo de compras, também transversal.

A lógica do artefato dialoga com o Modelo das Três Linhas. A primeira e a segunda linhas operam e controlam os macroprocessos; a terceira linha utiliza os nove trabalhos como lente de avaliação independente. Em organizações menos maduras, alguns trabalhos também podem ser executados como consultoria, apoiando a gestão na construção de inventário, critérios e controles.

A sequência de execução é parte essencial do artefato. O primeiro passo é responder o que existe de IA na organização. Essa pergunta é tratada pelo T1, pois o inventário define o escopo de todos os demais trabalhos. Sem inventário, testes técnicos partem de presunções e podem deixar fora do campo de avaliação plataformas ou funcionalidades relevantes.

A segunda pergunta é se a IA está contida no perímetro organizacional. Para isso, T3 verifica configurações e bloqueios do tenant; T2 testa shadow AI e prevenção de vazamento; e T9 identifica funcionalidades de IA ativadas em softwares já contratados, fora dos fluxos tradicionais de aprovação. A análise isolada de qualquer um desses trabalhos gera conforto parcial.

A terceira pergunta é se aquilo que foi prometido é o que efetivamente acontece. Nessa dimensão, T4 examina contratos e compromissos de fornecedores, T3 verifica implementação técnica e T5 observa práticas dos usuários. Os achados mais relevantes tendem a surgir nas quebras entre esses elos, por exemplo quando a cláusula contratual, a configuração e a conduta operacional não são coerentes entre si.

A quarta pergunta é se o uso respeita privacidade e regulação. T7 e T8 funcionam como lentes transversais aplicadas sobre os demais trabalhos, avaliando questões como base legal para monitoramento de prompts, classificação de risco de casos de uso, retenção de registros e aderência a obrigações aplicáveis.

5. Instrumento técnico: cinco pontos do fluxo de dados

Além do corte por processos e trabalhos, o artefato incorpora um instrumento técnico que organiza a avaliação do fluxo de dados em cinco pontos: entrada, processamento, saída, logs e retenção, e reuso a jusante.

Na entrada, avalia-se o prompt do usuário e o contexto adicionado pela plataforma, incluindo anexos, histórico, conectores e mecanismos de recuperação. Um teste característico é verificar se um usuário sem acesso a uma pasta restrita consegue obter seu conteúdo por meio da IA. O objetivo é confirmar se os conectores respeitam o permissionamento da fonte.

No processamento, a auditoria examina criptografia, região de processamento e garantias contratuais e técnicas de não utilização dos dados da organização para treinamento. Como o modelo de fundação não é diretamente auditável pelo adotante, a evidência concentra-se no envelope: contratos, configurações, documentação técnica e relatórios de assurance de terceiros.

Na saída, avaliam-se filtros de conteúdo, rotulagem de conteúdo gerado por IA quando aplicável e validação humana antes que uma resposta seja convertida em decisão, comunicação oficial ou registro corporativo. O foco não é apenas a qualidade técnica da saída, mas seu impacto no processo de negócio.

Em logs e retenção, o artefato chama atenção para um ponto frequentemente negligenciado: prompts e saídas podem conter informações sensíveis e constituir novo repositório de dados. A auditoria deve verificar quem acessa esses registros, se há segregação, justificativa, trilha de acesso e base legal documentada.

No reuso a jusante, avalia-se o destino da saída gerada pela IA: sua inserção em sistemas oficiais, envio a clientes, uso em decisões ou incorporação em documentos. Aqui, o controle é menos tecnológico e mais processual e comportamental.

6. Aderência aos domínios de risco

Para avaliar completude e delimitar a fronteira da avaliação, os nove trabalhos foram confrontados com os sete domínios de risco do MIT AI Risk Repository. O artefato distingue o que a organização adotante consegue auditar diretamente daquilo que depende de gestão de terceiros.

Quatro domínios são considerados integralmente auditáveis pela organização adotante: discriminação e conteúdo tóxico, por meio de testes de saídas dos próprios casos de uso; privacidade e segurança, que constituem o núcleo da cobertura; desinformação, por avaliação de acurácia e validação humana; e interação humano-computador, incluindo dependência excessiva, uso inadequado e autonomia de agentes.

Três domínios são apenas parcialmente auditáveis. Atores maliciosos podem ser avaliados quanto a uso indevido interno, mas não quanto a todas as salvaguardas internas do modelo. Riscos socioeconômicos e ambientais podem ser avaliados quanto à governança e à concentração de fornecedor, mas não quanto a efeitos macroeconômicos amplos. Segurança e limitações do sistema de IA podem ser auditadas quanto à robustez e transparência no uso organizacional, mas não quanto ao alinhamento interno do modelo.

Essa delimitação é uma contribuição prática importante. Em vez de declarar genericamente que a auditoria cobre IA, a terceira linha pode informar ao conselho quais dimensões são objeto de avaliação direta, quais são monitoradas por meio de terceiros e quais permanecem fora do alcance da organização adotante.

7. Aplicação e resultados qualitativos

O artefato foi aplicado em uma função de auditoria interna de organização brasileira do setor financeiro. O material disponível ainda não apresenta dados quantitativos divulgáveis sobre trabalhos executados, quantidade e severidade de achados, percentual de recomendações implementadas ou evolução da cobertura entre ciclos. Assim, a avaliação relatada concentra-se nas contribuições qualitativas identificadas durante a aplicação.

Dois achados merecem destaque. O primeiro é a IA embarcada como vetor não governado. Mesmo quando plataformas de gen AI contratadas deliberadamente são governadas, funcionalidades de IA podem ser ativadas dentro de softwares já utilizados, como sistemas de relacionamento, videoconferência ou aplicações corporativas. Essas funcionalidades podem entrar na organização por atualização contratual ou publicação de versão pelo fornecedor, sem passar por instância de aprovação específica. O fenômeno é tratado como shadow AI institucional: adquirido, pago e desconhecido. O trabalho T9 foi desenhado para endereçar esse vetor.

O segundo achado é o risco de segunda ordem produzido pelo próprio controle. Logs de prompts e saídas são importantes para prevenir vazamento de dados, mas também podem se tornar repositórios sensíveis sobre colaboradores e atividades internas. Sem base legal documentada, segregação de acesso e trilha do próprio acesso, o controle de monitoramento pode converter-se em vigilância organizacional indevida. Esse risco emerge da perspectiva da organização adotante e é endereçado especialmente pelo T7.

8. Escala de maturidade da cobertura

Como resultado derivado, o artefato propõe uma escala de cinco níveis para medir a maturidade da cobertura de auditoria, distinta da maturidade da gestão de IA da organização. No nível 0, a auditoria é cega: o universo não está mapeado. No nível 1, fundacional, o T1 permite conhecer o tamanho real do universo e estabelecer critérios. No nível 2, perímetro, T2 e T3 indicam o que entra, o que sai e como o ambiente está configurado. No nível 3, integrada, T4, T5 e T9 permitem verificar coerência entre contrato, configuração e conduta. No nível 4, substantiva, T6 avalia se as saídas de maior risco são aceitáveis. No nível 5, contínua, o monitoramento permite acompanhar o estado do universo em tempo quase real.

A escala serve a duas funções. Como instrumento de priorização, orienta a sequência de trabalhos com melhor relação entre esforço e conforto obtido. Como instrumento de comunicação, permite que a auditoria interna reporte posição e trajetória ao comitê de auditoria, substituindo declarações binárias por uma leitura evolutiva da cobertura.

A principal barreira identificada na transição do nível 3 para o nível 4 não é apenas metodológica, mas também de competência. Testar sistemas não determinísticos exige desenho de avaliações sistemáticas de saída, amostragem de outputs e construção de prompts adversariais, capacidades nem sempre presentes na formação tradicional do auditor. O uso intensivo das próprias plataformas licenciadas pela equipe de auditoria aparece como caminho prático de desenvolvimento dessa competência.

9. Limitações e agenda de pesquisa

O trabalho apresenta limitações relevantes. O artefato foi construído e aplicado em uma única organização, no contexto regulatório brasileiro e no setor financeiro, ambiente que tende a possuir maturidade de controles superior à média. Essa condição pode facilitar a implantação dos trabalhos e limitar a generalização para organizações com menor estrutura de governança, identidade, logs ou auditoria interna.

Além disso, a avaliação de eficácia apoia-se na geração de achados e não em medição independente de redução de risco. O escopo também se restringe a soluções de terceiros e IA embarcada, não cobrindo modelos desenvolvidos ou treinados internamente. Por fim, a ausência de dados quantitativos no material disponível limita a demonstração de impacto empírico, embora não invalide a contribuição conceitual e operacional do artefato.

A agenda de pesquisa inclui validação multi-organizacional em setores distintos, desenvolvimento de métricas de eficácia dos testes propostos e investigação sistemática dos riscos de segunda ordem gerados por controles de mitigação. Essa última categoria merece atenção especial porque pode escapar a taxonomias construídas predominantemente sob a perspectiva do desenvolvedor de modelos.

10. Conclusão

A comunidade de pesquisa e prática em IA avançou significativamente na identificação de riscos, mas a camada de avaliação independente sobre controles, no lado de quem adota a tecnologia, permanece menos desenvolvida. Este artigo propõe um artefato para preencher essa lacuna: um universo auditável que decompõe a utilização corporativa de gen AI em macroprocessos e trabalhos executáveis, define dependências, organiza testes técnicos, delimita fronteiras e oferece uma escala de maturidade da cobertura.

A contribuição não está em identificar riscos inteiramente novos, mas em tornar auditáveis riscos já conhecidos. Para a auditoria interna, isso significa trocar uma promessa genérica de cobertura de IA por uma declaração verificável sobre o que foi avaliado, com quais evidências e dentro de quais limites. Para organizações que ainda não sabem exatamente o que possuem, o primeiro passo é fundacional: construir inventário, critérios e um plano de cobertura progressivo.