Supervisionar a IA: de cada decisão às regras que valem para todas

O ERQYO, uma arquitetura de investigação descrita neste site, existe por uma razão: deixar um sistema aprender quando agir sem nunca aprender a permissão para agir. A sua metade adaptativa lê os eventos, o estado e o ritmo das pessoas e dos processos em torno de um caso, e propõe o que parece adequado em seguida. A sua metade governada confronta essa proposta com autoridade, regras, evidência e prazos rígidos, e depois permite-a, adia-a, entrega-a a uma pessoa ou recusa-a. As duas metades são mantidas separadas para que nada do que o sistema aprende possa tornar-se uma permissão.

É tentador resumir isto como manter uma pessoa no circuito de cada decisão. Não é bem isso que a arquitetura faz, e a diferença importa para tudo o que se segue. A instância determinística é o operador, não a pessoa: o operador aplica as restrições em vigor, da mesma forma todas as vezes, e anota o porquê. A pessoa é a fonte de autoridade que o runtime não consegue criar por si. Onde nenhum mandato cobre uma decisão, o runtime entrega-a. Onde as regras em vigor exigem uma revisão, entrega-a. Onde as regras permitem que prossiga, prossegue e deixa escrito sob que regras. A pessoa está no comando sem estar no circuito de cada passo. O vocabulário publicado para isto é supervisão humana por desenho, a pessoa continua no circuito. Trata-se do circuito da supervisão, não do de cada passo.

Portanto, a pergunta que este artigo faz não é se as pessoas podem ser tiradas da supervisão. Não podem, e a arquitetura é construída sobre isso. É como muda o trabalho de supervisão à medida que menos decisões isoladas precisam da confirmação de uma pessoa, a direção para a qual apontam a economia, a evidência acumulada e a lei, e o que precisa crescer no seu lugar.

O framework contra o qual este runtime foi desenhado, o COADF, trata a supervisão como um ajuste graduado e não como um interruptor. O seu oitavo princípio faz da autonomia uma propriedade das regras e não do código: quanto um sistema pode fazer sem uma pessoa é definido por jurisdição e por classe de risco, e nunca ultrapassa o teto que a lei ali estabelece. Elevá-lo onde a lei permite é uma mudança de regra com base legal documentada, nunca uma bifurcação do código. No ajuste mais baixo, uma pessoa confirma cada resultado antes de produzir efeito; no mais alto, o sistema prossegue e é auditado depois; e cada registro de decisão está vinculado à versão do conjunto de regras que o produziu, para que a configuração em vigor possa ser lida mais tarde.

O direito europeu raciocina da mesma forma. O artigo 14.º do Regulamento (UE) 2024/1689, o AI Act, exige que os sistemas de risco elevado sejam concebidos de modo a que pessoas naturais possam supervisioná-los efetivamente durante a utilização, e o seu n.º 3 diz que as medidas de supervisão devem ser proporcionadas aos riscos, ao nível de autonomia e ao contexto de utilização do sistema. A lei não prescreve um circuito para cada decisão. Prescreve uma supervisão proporcional à autonomia e nomeia o mínimo que a supervisão tem sempre de permitir: compreender as capacidades e as limitações do sistema, manter-se atento ao viés de automação, interpretar corretamente os seus resultados, decidir não o utilizar ou anular ou reverter os seus resultados, e intervir ou interrompê-lo (artigo 14.º, n.º 4). O artigo 26.º, n.º 2, diz quem: os responsáveis pela implantação confiam a supervisão a pessoas naturais com a competência, a formação e a autoridade necessárias.

Lidos em conjunto, o princípio e o artigo descrevem um único mecanismo. A autonomia é um nível. O nível é definido fora do sistema, por pessoas que detêm autoridade. A lei limita-o. E o sistema carrega o nível em cada registro, para que a configuração possa ser auditada depois. O que cai à medida que o nível sobe é o número de decisões que uma pessoa vê antes de produzirem efeito. O que não cai é que uma pessoa definiu o nível, que uma pessoa pode anular qualquer resultado isolado e que uma pessoa responde pelo resultado.

Uma imagem útil para isto é o animal adestrado. Um cão que aprendeu a andar junto precisa de menos guia do que um filhote, e um cavalo de trabalho precisa de menos mãos do que um cavalo por domar. O adestramento transfere o controle da mão para os hábitos do animal, e a mão passa a ser necessária com menos frequência. É essa a direção em que a supervisão dos sistemas de IA caminha, e a imagem capta algo real: à medida que as barreiras de um sistema se comprovam e os seus registros se acumulam, a fração das suas ações que uma pessoa tem de confirmar pode cair.

A visão que a lei tem do animal adestrado é o que faz a imagem valer a pena. Nos termos do § 833 do Código Civil alemão (BGB), o detentor de um animal responde pelo dano que ele causa, adestrado ou não. Só o detentor de um animal de trabalho, mantido para uma profissão ou para o sustento, escapa à responsabilidade, e só provando que o animal foi supervisionado com o cuidado que a situação exigia, ou que o dano teria ocorrido mesmo assim. O artigo 936 do Código Civil brasileiro diz o mesmo numa frase: o dono ou detentor de um animal responde pelo dano que ele causa, a menos que prove culpa da vítima ou força maior. O adestramento encurta a guia. Nunca reduz a responsabilidade do detentor, e para um animal de trabalho a defesa do detentor é o registro da supervisão.

A analogia para em três pontos, e cada um deles é um fato arquitetural. Primeiro, as capacidades de um animal adestrado são estáveis, enquanto as de um modelo mudam a cada versão, de modo que a confiança conquistada por uma versão não passa para a seguinte, e cada barreira tem de mostrar de novo que dispara depois de cada mudança. Segundo, não se pede ao animal que detenha autoridade, e ao sistema também não. O hábito que permite afrouxar a guia não é o hábito de decidir se ela pode ser afrouxada, e a arquitetura mantém essa decisão fora do alcance de tudo o que o sistema aprende. Terceiro, o animal não guarda registro. Um sistema pode, e o registro é toda a diferença entre um detentor que consegue mostrar que cuidado foi tomado e um que não consegue.

A previsão que este artigo faz é enunciada como hipótese, não como medição. À medida que barreiras executáveis cobrem mais daquilo que um sistema pode fazer, e que os registros de decisão se acumulam em evidência de que as barreiras se mantêm, a parcela das decisões que uma pessoa tem de ver antes de produzirem efeito continuará a cair. A supervisão passa do circuito para as regras: as pessoas dedicarão menos tempo à confirmação de resultados individuais e mais tempo à escrita das políticas sob as quais um sistema funciona, à leitura dos registros que ele deixa e à decisão sobre quando um nível pode subir. Para quem faz esse trabalho, é um trabalho diferente, não um trabalho menor: uma regra precisa valer em casos que ninguém viu ainda, o que exige mais do julgamento do que confirmar um caso. O sistema não controla a si mesmo. É controlado por uma arquitetura que as pessoas podem inspecionar, num nível que as pessoas definem.

Se isso termina em independência plena não se sabe, e pode ser que não deva. Duas coisas se sabem. Para as utilizações que o AI Act classifica como de risco elevado, a lei proíbe pura e simplesmente um circuito vazio: uma supervisão proporcional à autonomia, com uma pessoa capaz de anular e de interromper, é um requisito de desenho e não uma preferência, e ali o teto da autonomia é legal. Para todas as outras utilizações, a posição honesta é que o nível só pode subir até onde a verificação sobe. Um nível que ultrapassa a evidência que o sustenta não é autonomia. É uma afirmação não testada, com consequências.

É por isso que a direção e o ritmo são perguntas distintas. A direção é definida pela economia e pela acumulação de evidência, e aponta num só sentido. O ritmo é definido por três coisas fora do sistema: a lei, que limita o nível; as normas técnicas, que traduzem as exigências da lei no estado da técnica; e os tribunais, que decidem depois se um nível era aceitável naquele momento. A seção seguinte trata dessas três.

A legislação define o teto. O artigo 14.º do AI Act é o exemplo mais claro: onde se aplica, nenhum conjunto de regras pode configurar um sistema abaixo da supervisão que ele exige, e um runtime que carrega o nível de autonomia em cada registro tem de impor esse teto como restrição, não oferecê-lo como opção. O calendário é conhecido. As proibições do artigo 5.º aplicam-se desde 2 de fevereiro de 2025 e os deveres de transparência do artigo 50.º desde 2 de agosto de 2026. Depois do Regulamento (UE) 2026/1744, o Digital Omnibus, o regime de risco elevado aplica-se a partir de 2 de dezembro de 2027 às categorias independentes do anexo III e a partir de 2 de agosto de 2028 aos sistemas incorporados em produtos regulados nos termos do anexo I. A legislação move-se devagar e por etapas, e um teto que se move por etapas é a forma certa para uma configuração que as pessoas têm de poder auditar.

As normas técnicas preenchem o que a lei deixa em aberto. Nos termos do artigo 40.º do AI Act, presume-se que um sistema de risco elevado que segue normas harmonizadas cujas referências foram publicadas no Jornal Oficial cumpre os requisitos que essas normas cobrem. É nas normas que a expressão proporcionadas ao nível de autonomia vai ganhar medidas concretas, e elas serão revisadas com mais frequência do que o Regulamento. São a camada intermediária: mais lentas do que a tecnologia, mais rápidas do que a lei.

A jurisprudência é a terceira camada, e a que este artigo espera que carregue a história. Um tribunal não decide qual deve ser a autonomia. Decide, depois do fato, se o nível que estava em vigor quando algo falhou era defensável naquele momento, com o que então se sabia. A Diretiva (UE) 2024/2853, relativa à responsabilidade decorrente dos produtos defeituosos, que os Estados-Membros têm de transpor até 9 de dezembro de 2026 e que se aplica aos produtos colocados no mercado depois dessa data, dá a essa pergunta os seus termos para o software. O software é um produto (artigo 4.º, n.º 1). Ao avaliar se era defeituoso, um tribunal leva em conta o efeito de qualquer capacidade de continuar a aprender depois de colocado no mercado (artigo 7.º, n.º 2, alínea c)) e o momento em que saiu do controle do fabricante (artigo 7.º, n.º 2, alínea e)). A defesa do fabricante apoia-se no que o estado objetivo dos conhecimentos científicos e técnicos permitia naquele momento (artigo 11.º, n.º 1, alínea e)). Cada um desses testes é um teste sobre uma data. A proposta de uma diretiva própria sobre responsabilidade em matéria de inteligência artificial foi retirada pela Comissão em 2025, de modo que, por enquanto, são estas regras gerais, e as regras nacionais de culpa ao lado delas, que se aplicam.

Sentença a sentença, isso produz um registro datado de quanta autonomia era aceitável, em que utilização, em que estado da técnica. Na Alemanha e no Brasil, onde uma sentença vincula as partes e não todos os tribunais posteriores, esse registro atua através do padrão de cuidado pelo qual o caso seguinte é medido, e no Brasil também através dos precedentes vinculantes que a sua Constituição e o seu Código de Processo Civil preveem. Em qualquer dos dois sistemas, a jurisprudência torna-se a versão historicizada da evolução que este artigo descreve. A lei diz até onde o nível pode ir. Os tribunais dizem, um caso de cada vez, até onde ele podia razoavelmente ter ido quando importava.

Se os tribunais vão historicizar a evolução, o material tem de existir. Essa é a consequência arquitetural, e é concreta. Cada registro de decisão tem de carregar o nível de autonomia que estava em vigor e a versão do conjunto de regras que o definiu, para que um leitor posterior consiga distinguir uma regra de um hábito. Tem de carregar o que o sistema sabia e não sabia quando decidiu: se a evidência estava atual, se um mandato cobria a ação, se alguma política tinha sequer sido fornecida, porque um sistema que consegue dizer ninguém pediu está numa posição diferente de um que só consegue dizer nada proibia. Tem de carregar quem detinha a autoridade, e se uma pessoa confirmou, anulou ou interrompeu o resultado. E tem de poder ser reexecutado, para que o que o sistema teria decidido sob as regras daquele dia possa ser mostrado em vez de reconstruído de memória. A implementação de referência descrita neste site grava o nível, a referência da regra, a incerteza, a autoridade e qualquer anulação humana nos seus rastros de decisão, e consegue reexecutá-los. O fato de não estar em produção não muda o que o registro tem de conter.

Nada disto é novo como técnica. Logs só de acréscimo, políticas versionadas e decisões reexecutáveis são todos anteriores a este trabalho. O que é específico é a razão para mantê-los: o registro é escrito para um leitor que ainda não existe, um supervisor, um auditor ou um tribunal, que vai perguntar qual era o nível, quem o definiu, com que base, e se a evidência da época o sustentava. Um sistema que consegue responder a essas quatro perguntas a partir dos seus próprios registros pode receber mais espaço. Um que não consegue não deve receber, digam o que disserem os seus números de exatidão.

Não diz que o ERQYO está em uso. É uma implementação de referência num repositório, com testes, e não está em produção; o único chamador que existe funciona em modo sombra, atrás de interruptores que estão desligados. A arquitetura é um argumento sobre o que um runtime deve fazer, sustentado por código que mostra que é possível. Não é um serviço.

Não diz que as barreiras podem ser completas. Uma barreira prova que dispara contra o defeito para o qual foi construída. Não prova nada sobre o defeito em que ninguém pensou, e toda afirmação de controle total deve ser lida como uma afirmação sobre os defeitos que foram testados.

Não diz que a independência plena virá, nem quando. Diz que a parcela das decisões que uma pessoa confirma vai cair, não que a supervisão passa a ser uma responsabilidade menor, e que o ritmo dessa queda é definido pela verificação, pela legislação, pelas normas técnicas e pelos tribunais, não pelos próprios sistemas. Onde o artigo 14.º se aplica, o piso é legal e nenhuma configuração desce abaixo dele.

E não é aconselhamento jurídico. Saber se o AI Act, as regras de responsabilidade por produtos ou as disposições sobre o detentor de animais aqui citadas se aplicam a um dado sistema ou situação depende de fatos que este artigo não tem. Cada disposição é citada por artigo para que quem lê possa confrontá-la com o texto no dia em que importar.