.
Para começar, nem todos os RAGs são do mesmo calibre. A precisão do conteúdo do banco de dados personalizado é crítica para resultados sólidos, mas essa não é a única variável. “Não se trata apenas da qualidade do conteúdo em si”, diz Joel Hron, chefe global de IA na Thomson Reuters. “É a qualidade da pesquisa e a recuperação do conteúdo certo com base na pergunta.” Dominar cada etapa do processo é fundamental, pois um passo em falso pode desequilibrar completamente o modelo.
“Qualquer advogado que já tenha tentado usar uma busca em linguagem natural em um dos mecanismos de pesquisa verá que muitas vezes há casos em que a semelhança semântica leva a materiais completamente irrelevantes”, diz Daniel Ho, professor de Stanford e membro sênior do Instituto de IA Centrada no Ser Humano. A pesquisa de Ho sobre Ferramentas jurídicas de IA que dependem do RAG encontraram uma taxa mais elevada de erros nos resultados do que as empresas que construíram os modelos encontrados.
O que nos leva à questão mais espinhosa da discussão: como definir alucinações dentro de uma implementação RAG? É apenas quando o chatbot gera uma saída sem citações e inventa informações? É também quando a ferramenta pode ignorar dados relevantes ou interpretar mal aspectos de uma citação?
De acordo com Lewis, as alucinações em um sistema RAG resumem-se a saber se a saída é consistente com o que é encontrado pelo modelo durante a recuperação de dados. Porém, a pesquisa de Stanford sobre ferramentas de IA para advogados amplia um pouco essa definição, examinando se o resultado é baseado nos dados fornecidos, bem como se é factualmente correto – um padrão elevado para profissionais jurídicos que muitas vezes analisam casos complicados e navegam em hierarquias complexas. de precedente.
Embora um sistema RAG sintonizado com questões jurídicas seja claramente melhor para responder a perguntas sobre jurisprudência do que o ChatGPT da OpenAI ou o Gemini do Google, ele ainda pode ignorar os detalhes mais sutis e cometer erros aleatórios. Todos os especialistas em IA com quem conversei enfatizaram a necessidade contínua de interação humana cuidadosa durante todo o processo para verificar as citações e verificar a precisão geral dos resultados.
O direito é uma área onde há muita atividade em torno de ferramentas de IA baseadas em RAG, mas o potencial do processo não se limita a um único trabalho de colarinho branco. “Assuma qualquer profissão ou qualquer negócio. É preciso obter respostas ancoradas em documentos reais”, afirma Arredondo. “Portanto, acho que o RAG se tornará o produto básico usado em basicamente todas as aplicações profissionais, pelo menos no curto e médio prazo.” Os executivos avessos ao risco parecem entusiasmados com a perspectiva de utilizar ferramentas de IA para compreender melhor os seus dados proprietários, sem ter de carregar informações sensíveis para um chatbot público padrão.
É fundamental, porém, que os usuários compreendam as limitações dessas ferramentas e que as empresas focadas em IA evitem prometer demais a precisão de suas respostas. Qualquer pessoa que utilize uma ferramenta de IA ainda deve evitar confiar inteiramente no resultado e deve abordar suas respostas com um saudável senso de ceticismo, mesmo que a resposta seja melhorada por meio do RAG.
“As alucinações vieram para ficar”, diz Ho. “Ainda não temos formas prontas de realmente eliminar as alucinações.” Mesmo quando o RAG reduz a prevalência de erros, o julgamento humano reina em primeiro lugar. E isso não é mentira.
.
