No artigo anterior, discutimos por que o maior risco da inteligência artificial não está na máquina, mas nas decisões humanas que definem que permissões ela recebe e como é supervisionada. Isso leva a uma pergunta natural: se o risco está nas decisões humanas, quem garante que essas decisões estão sendo bem tomadas? Em outras palavras, quem fiscaliza, quem controla a IA?
Não se trata apenas de pensar no que uma inteligência artificial é capaz de fazer. Também precisamos considerar quem a desenvolve, como ela é testada, quem identifica suas falhas e o que acontece quando um problema é encontrado. Afinal, quando uma tecnologia pode afetar muitas pessoas, a segurança não deveria depender apenas da confiança em quem a criou.
O avanço da IA também traz novas responsabilidades.
Uma falha técnica, uma configuração inadequada ou uma avaliação insuficiente podem gerar consequências indesejadas. Em sistemas mais avançados, determinados problemas podem ser difíceis de identificar antes que a tecnologia seja usada em situações reais. Por isso, avaliar a segurança não deveria ser uma etapa isolada, feita só antes do lançamento; é um processo que precisa acompanhar todo o ciclo de vida do sistema.
Isso nos leva a uma pergunta fundamental: quem deve verificar se as medidas de segurança estão funcionando?
As empresas devem ser as únicas responsáveis?
As empresas que desenvolvem inteligência artificial têm o conhecimento técnico essencial: suas equipes conhecem a arquitetura dos sistemas e têm condições de investigar e corrigir muitos problemas. É natural que sejam responsáveis por testar suas próprias tecnologias.
Mas elas também têm interesses comerciais e financeiros. Isso não significa que vão agir de má-fé; significa apenas que a avaliação interna não deveria ser a única forma de verificar a segurança de sistemas com potencial de causar danos.
Em outubro de 2025, a consultoria Deloitte viveu isso na prática: entregou ao governo australiano um relatório de mais de meio milhão de dólares que continha citações e referências inventadas por IA generativa. O erro não foi pego pela própria Deloitte – foi um acadêmico da Universidade de Sydney quem identificou as falhas, meses depois da publicação. A empresa teve que devolver parte do pagamento. O caso mostra exatamente o ponto: quem produziu o trabalho não está na melhor posição para avaliar sozinho se ele está correto.
Especialistas independentes podem ajudar.
Em 2024, um pesquisador de segurança chamado Sandeep Hodkasia encontrou uma falha grave no chatbot da Meta AI: por causa de uma vulnerabilidade no sistema de identificação de conversas, era possível ver os prompts e respostas de outros usuários, incluindo pedidos privados, sem qualquer autorização. Ele reportou a falha formalmente à Meta, recebeu uma recompensa de US$ 10 mil e a brecha foi corrigida em cerca de um mês.
Repare no que aconteceu: não foi a equipe interna da Meta que encontrou o problema, foi alguém de fora, testando o sistema por conta própria. É exatamente esse tipo de trabalho que uma avaliação independente formalizada poderia fazer de forma sistemática, em vez de depender da sorte de um pesquisador encontrar a falha primeiro.
Para que isso funcione de verdade, a independência precisa ser real: quem escolhe os avaliadores, como eles são financiados, que informações podem consultar e se têm liberdade para divulgar suas conclusões. Conhecimento técnico é fundamental, mas não elimina sozinho a possibilidade de conflitos de interesse.
Código aberto resolve o problema?
Disponibilizar o código de um sistema pode permitir que outras pessoas examinem seu funcionamento e ajudem a identificar problemas. Mas abrir o código não significa tornar públicos todos os componentes de uma IA — modelos treinados, dados e infraestrutura exigem cuidados diferentes, e liberar informações irrestritamente pode facilitar tanto pesquisas legítimas quanto usos mal-intencionados.
Uma alternativa mais equilibrada: em vez de abrir todo o sistema, a empresa permite que especialistas autorizados testem em um ambiente controlado, com acesso limitado ao necessário. Os dados dos usuários continuam protegidos, e a avaliação ainda tem independência suficiente para não ser controlada só pela empresa. Não é uma solução pronta ainda seria preciso definir critérios de acesso e condições para divulgar resultados mas mostra que transparência e segurança não precisam ser tratadas como opostos.
O que acontece quando um usuário relata um erro que a empresa não consegue reproduzir?
Em abril de 2025, um usuário do editor de código Cursor relatou no Reddit que estava sendo desconectado toda vez que alternava entre computadores. O suporte respondeu explicando que se tratava de uma nova “política de segurança” que limitava o uso a um dispositivo por assinatura assinada por um atendente chamado “Sam”.
O problema: essa política nunca existiu. “Sam” era um bot de IA, que inventou uma explicação plausível para um bug real que ninguém tinha investigado ainda. A resposta viralizou no Reddit, outros usuários acreditaram que era uma mudança oficial e começaram a cancelar suas assinaturas. Só cerca de três horas depois o cofundador da empresa entrou pessoalmente para desmentir a política inventada, admitir o bug de verdade (um problema no backend de segurança) e reembolsar o usuário afetado.
Esse caso mostra bem por que um relato de usuário merece investigação rápida, mesmo quando a empresa não consegue reproduzir o problema de imediato: a ausência de uma explicação clara não significa que a falha não existe, e demorar para admitir isso piora a situação. Depois do episódio, o Cursor passou a identificar claramente quando uma resposta de suporte é gerada por IA.
Um processo de resposta a falhas mais maduro incluiria:
- Registrar e analisar os relatos recebidos.
- Tentar reproduzir o comportamento identificado.
- Avaliar a gravidade e as possíveis consequências.
- Investigar se o problema pode ser limitado ou corrigido.
- Comunicar as medidas adotadas de forma transparente.
Nem todo erro exige desativar um sistema inteiro. Mas, se houver indícios de um risco sério que não possa ser controlado, uma suspensão temporária pode ser necessária até existirem condições mais seguras para retomar a operação.
Quem deveria decidir sobre uma suspensão?
Essa é uma das questões mais difíceis, se a própria empresa for a única responsável por decidir se seu sistema continua funcionando, existe conflito entre interesse comercial e proteção das pessoas. Mas entregar essa decisão inteiramente a uma organização externa também concentra poder.
Uma estrutura possível divide responsabilidades: as empresas investigam e corrigem; especialistas independentes avaliam riscos; instituições de fiscalização têm procedimentos claros para exigir providências. O importante é que uma decisão tão relevante não dependa da vontade de uma única parte, sem critérios verificáveis.
Os usuários também fazem parte da segurança.
Quem usa uma IA no dia a dia percebe problemas que não aparecem nos testes internos, como mostrou o próprio caso do Cursor. Isso não significa que usuários comuns devam avaliar tecnicamente sistemas complexos; seu papel é comunicar experiências e comportamentos inesperados, para que profissionais qualificados investiguem. Um processo eficiente permite relatar problemas sem burocracia excessiva e informa a pessoa sobre o encaminhamento do seu relato.
Como evitar que a fiscalização seja influenciada?
Uma organização independente não é automaticamente imparcial. Vale considerar: critérios públicos para selecionar especialistas, transparência sobre financiamento, diversidade de instituições envolvidas, publicação de resultados e mecanismos para contestar decisões. Nada disso elimina completamente a possibilidade de influência, mas torna o processo mais verificável.
O papel dos governos
Governos podem criar regras e fiscalizar seu cumprimento, mas isso é diferente de ter conhecimento técnico para investigar um modelo específico. Uma estrutura equilibrada combina especialistas avaliando aspectos técnicos, instituições públicas aplicando regras dentro de suas atribuições, e canais para a sociedade relatar problemas e acompanhar decisões, sem concentrar tudo em uma única instituição.
Afinal, quem deve fiscalizar a inteligência artificial?
Não existe uma solução simples. Abrir completamente um sistema facilita certas avaliações, mas cria riscos; manter tudo fechado protege informações sensíveis, mas dificulta verificações externas. O caminho provável está em combinar mecanismos: testes contínuos, avaliações externas, canais de comunicação e procedimentos claros para responder a falhas, como os casos da Meta, da Deloitte e do Cursor deixam claro, ano após ano.
Garantir a segurança da inteligência artificial não é só desenvolver sistemas melhores. É criar formas confiáveis de avaliar, fiscalizar e corrigir essa tecnologia.
E você, como imagina que deveria funcionar essa fiscalização?
Se você ainda não leu, esse assunto começa no artigo anterior desta série: O risco real está nas decisões humanas, não na máquina“. Entenda o problema que essa fiscalização tenta resolver.
E se quiser continuar acompanhando essas discussões sobre segurança e ética em IA, toda semana a gente manda uma análise assim direto na sua caixa de entrada. [Assine a newsletter do Kloa →]
Fontes:
- TecMundo – Meta corrige bug que permitia ver o que qualquer pessoa estava perguntando para a IA.
- Tecnoblog – IA de atendimento inventa política da empresa e confunde usuários (caso do Cursor).
- Tecnoblog – Auditoria usa IA, passa vergonha e devolve dinheiro de projeto (caso da Deloitte).