AI Audit Trail

Um registo de auditoria de IA completo regista toda a cadeia de eventos de cada interação: a identidade e a função do utilizador, a pergunta introduzida, os resultados da pesquisa e as fontes de onde vieram, o modelo e a configuração usados, a resposta gerada e a data e hora. Nos pipelines de fluxo de trabalho, regista também cada passo do pipeline: o que o desencadeou, o que cada etapa processou, onde ocorreu revisão humana e qual foi o resultado final.

Isto é categoricamente diferente de um registo de aplicação básico. Um registo de aplicação diz-nos que algo aconteceu. Um registo de auditoria diz-nos o que aconteceu, quem esteve envolvido, que dados foram acedidos e que decisão foi tomada, num formato que sustenta uma revisão de conformidade ou a investigação de um litígio.

Os reguladores dos serviços financeiros, da saúde e do setor público exigem cada vez mais que as decisões de IA sejam explicáveis e auditáveis. "Foi a IA que disse" não é uma resposta defensável numa investigação de conformidade. Um registo de auditoria fornece a camada de evidência: este utilizador, a esta hora, fez esta pergunta, o sistema pesquisou estas fontes e produziu esta resposta.

Para organizações sujeitas ao RGPD, o registo de auditoria também permite responder a pedidos de acesso do titular dos dados. Se um colaborador ou cliente perguntar que dados foram usados para produzir uma decisão que o afetou, o registo de auditoria fornece a resposta.

Nem todo o registo tem nível de auditoria. Os registos de auditoria de nível de governação exigem imutabilidade (os registos não podem ser alterados depois de criados), integralidade (todas as interações são registadas, sem amostragem), capacidade de consulta (os registos podem ser pesquisados e apresentados para um utilizador, um intervalo de datas ou um tipo de interação específicos) e retenção (os registos são guardados pelo período exigido pela regulação aplicável).

Exigem também que o registo de auditoria esteja ligado à camada de controlo de acesso, de forma a que o registo do que um utilizador acedeu esteja associado ao que esse utilizador estava autorizado a aceder. Uma discrepância entre os dois é o sinal de que algo precisa de ser investigado.