Engenharia de Prompt para Análises Investigativas

Professor: Paulo Lima (Datavirtus)

Agenda da Aula 1

• Contexto e Motivação: Por que a IA importa para investigadores.
• O que são LLMs: Funcionamento, geração de texto, vieses e alucinações.
• Fundamentos: Engenharia de Prompt e Engenharia de Contexto.
• Erros Comuns: Como não usar a IA.

Por que a IA Importa: Três Cenários Reais

IA como Colega, não Decisor

• Capacidades: A IA analisa, sintetiza e organiza.
• Limitação Crítica: IA não toma decisões por você.
• Responsabilidade: O juízo e a escolha final são sempre do humano.
• Revisão: IA é um "colega incansável", mas pode errar; revise sempre.

O que é um LLM e como gera texto?

• Definição: Large Language Model é uma IA treinada em bilhões de textos para prever a próxima palavra mais provável.
• Sem Consciência: Ele não pensa, não raciocina e não compreende o mundo; funciona por padrões estatísticos e probabilidade.
• Contexto: Enxerga apenas a conversa atual, sem memória de sessões anteriores (salvo se fornecido).
• Acesso: Não possui acesso externo em tempo real, a menos que habilitado.

O Que Modelos NÃO Sabem

• Tempo Real: Treinados até uma data de corte; desconhecem eventos recentes (podem citar fatos desatualizados).
• Dados Privados: Não conhecem seus documentos ou inquéritos a menos que você os forneça no contexto.
• Alucinação: Quando incerto, o modelo inventa respostas plausíveis que parecem verídicas (confabulação).

Busca Tradicional vs. IA Generativa

• Motor de Busca: Encontra e localiza links/documentos existentes; bom para fontes primárias, mas não conecta pontos.
• IA Generativa (LLM): Sintetiza, analisa e gera novas estruturas de texto; raciocina passo a passo, mas pode inventar fatos se não for ancorada.

Vieses nos Dados de Treinamento

• Herança Cultural: Modelos herdam preconceitos presentes nos textos da internet.
• Risco Investigativo: Perguntas sobre perfis criminais podem gerar respostas com vieses de gênero, classe ou origem.
• Implicação: Analise sempre os resultados de forma crítica.

Alucinações: O Risco de Respostas Falsas

• O que é: Geração de afirmações factualmente incorretas com aparência de coerência e confiança.
• Manifestações: Datas, nomes, leis e jurisprudências inventadas; conclusões sem suporte documental.

O Fator Humano e Limitações Técnicas

• Risco da Desatualização: Nunca confie em datas automáticas; verifique legislação e precedentes recentes.
• Risco da Alucinação: Valide citações de artigos e cheque duplamente cálculos e prazos legais gerados.
• Papel Humano: A IA rascunha, o humano valida.

Fundamentos de Engenharia de Prompt

• Conceito: Processo interativo de desenvolver e refinar instruções para obter resultados precisos.
• Analogia do Maestro: Você ajusta os "instrumentos" (instruções) para alcançar a harmonia (resultado ideal).
• Exemplo de Refinamento: De "Resuma este inquérito" para "Foque o resumo nas provas que apontam as qualificadoras do homicídio".

Anatomia de um Prompt de Qualidade

• Definição: Um comando estruturado que inclui contexto, objetivo e restrições (não é uma pergunta casual).

Engenharia de Contexto: Elementos Chave

1. Persona: Atribuir um papel à IA.
2. Background: Fornecer o cenário.
3. Curadoria: Recortar apenas as informações relevantes e remover ruídos.
4. Exemplos: Mostrar o que se espera.
5. Estrutura e Restrições: Definir formato e o que não fazer.

O Papel do Contexto na IA

• Definição: Tudo o que é fornecido no momento (pergunta, histórico, arquivos, instruções).
• Importância: A IA só trabalha com o que está na "janela"; nada é presumido.
• Exemplo Prático: Sem contexto, "Diligência urgente" pode ser interpretado literalmente (veículo/presteza); com contexto jurídico, é interpretado como coleta de provas.

Dinâmica da Janela de Contexto

• Janela de Entrada: Composta por prompts, textos colados, anexos e histórico.
• Processamento: O modelo lê o bloco inteiro de uma vez.
• Saída: A resposta gerada depende da qualidade da entrada. Se a denúncia for genérica, o erro costuma estar na entrada.

Regras de Ouro para Janelas de Contexto

• Fragmentação: Não faça upload de arquivos com centenas de páginas; fragmente em blocos temáticos.
• Capacidade: Exemplificado com Claude Sonnet 4.6 (200k tokens). O risco de alucinação aumenta conforme a janela é preenchida (ex: acima de 75.5% de uso).
• Ação: Analise por sessões separadas para arquivos volumosos.

Memória da IA: Agora vs. Sempre

• Na Mesa (Janela de Contexto): Temporária, finita e zera a cada nova conversa. A IA só "vê" o que está sobre esta mesa.
• No Treinamento (Memória Estática): Conhecimento congelado até a data de corte.
• RAG (Memória Dinâmica): Busca seletiva em bases oficiais quando solicitada.
• Insight: Sem contexto na "mesa", a IA inventa fatos para preencher lacunas.

Matriz de Transformação: Do Risco à Precisão

Como não usar a IA: Três Pilares Faltantes

1. Sem Hipótese: Não use a IA sem uma pergunta de pesquisa definida.
2. Sem Curadoria: Não aceite respostas sem análise crítica e validação jurídica.
3. Sem Direção: Defina o objetivo final (resumir, analisar contradições ou redigir) antes do comando.

Erro 1: Persona Inflada e Calibragem

• Armadilha (Ruído): Usar adjetivos exagerados ("melhor jurista do universo", "PhD em Harvard"). Gera respostas arrogantes ou imprecisas.
• Calibragem (Especialista): Atribuir papel técnico e direto ("Promotor especializado em direito penal").

Erro 2: Objetivo Genérico

• Vago: "Analise este documento e me diga o que acha." Resulta em resumos óbvios sem utilidade tática.
• Específico: "Analise criticamente esta denúncia verificando os requisitos do art. 41 do CPP..." Ativa o conhecimento jurídico específico e gera respostas focadas.

Erro 3: Misturar Análise com Escrita

• O Caos: Pedir análise jurídica e redação final rebuscada no mesmo prompt.

Erro 4: Comandos Negativos sem Direção

• O Bloqueio: "Não faça texto longo", "Não use palavras difíceis". A IA foca nos termos negativos e pode se confundir.
• A Direção (Afirmativo): "Seja conciso", "Use linguagem clara", "Cite apenas jurisprudência aplicável". Mapeia o caminho esperado de forma eficaz.

Erro 5: Excesso de Instruções (Trade-off)

• Princípio: Quanto mais instruções simultâneas (o "Mega-Prompt"), menor a qualidade da execução individual.
• A Correção: Limite-se a 5 a 7 instruções principais hierarquizadas. Se precisar de mais, fragmente em vários prompts consecutivos.

Gestão do Foco Cognitivo

Os 5 erros principais (personas infladas, objetivos genéricos, excesso de instruções, comandos negativos e mistura de tarefas) resultam no desperdício da janela de contexto e diluição do poder computacional.