Meta desenvolve um bot de linguagem AI que pode usar ferramentas de software externas

Modelos de linguagem como o ChatGPT revolucionaram o campo do processamento de linguagem natural, mas ainda lutam com algumas tarefas básicas, como aritmética e verificação de fatos. Na quinta-feira passada, pesquisadores da Meta revelaram o Toolformer, um modelo de linguagem AI que pode aprender sozinho a usar ferramentas externas, como mecanismos de busca, calculadoras e calendários, sem sacrificar suas principais habilidades de modelagem de linguagem.

A chave para o Toolformer é que ele pode usar APIs (interfaces de programação de aplicativos), que são um conjunto de protocolos que permitem que diferentes aplicativos se comuniquem entre si, geralmente de maneira contínua e automatizada. Durante o treinamento, os pesquisadores deram ao Toolformer um pequeno conjunto de exemplos escritos por humanos demonstrando como cada API é usada e, em seguida, permitiram que ele anotasse um grande conjunto de dados de modelagem de linguagem com possíveis chamadas de API. Ele fez isso de maneira “auto-supervisionada”, o que significa que poderia aprender sem precisar de orientação humana explícita.

O modelo aprendeu a prever cada chamada de API baseada em texto como se fosse qualquer outra forma de texto. Quando em operação – gerando texto como resultado de uma entrada humana – ele pode inserir as chamadas quando necessário. Além disso, o Toolformer pode “decidir” por si mesmo qual ferramenta usar para o contexto apropriado e como usá-la.

Essa capacidade de chamada de API permite que o Toolformer use ferramentas de software externas, como mecanismos de pesquisa, calculadoras, tradutores de idiomas e referências factuais. Por exemplo, modelos de linguagem grande (LLM) são bem conhecidos por não ser particularmente bom em aritmética. O Toolformer pode contornar essa limitação usando um programa de calculadora. Ou se alguém quisesse que um assistente baseado em LLM adicionasse uma data ao seu calendário, o Toolformer poderia lidar com essa tarefa usando um link de API para um aplicativo de calendário.

O modelador de ferramentas é baseado em um modelo GPT-J pré-treinado com 6,7 bilhões de parâmetros. Experimentos conduzidos pelos pesquisadores em várias tarefas de uso de ferramentas parecem demonstrar que o Toolformer atinge um desempenho muito mais forte do que o modelo GPT-3 muito maior, que contém 175 bilhões de parâmetros.

Esta não é a primeira vez que os pesquisadores tentam compensar as limitações dos modelos de linguagem. Na verdade, o modelo recente do Bing Chat que está nas notícias desta semana pode realizar pesquisas na web por conta própria quando necessário, e outros tentaram integrações com navegadores, calculadoras e mecanismos de pesquisa. De acordo com os pesquisadores da Meta, a maioria das abordagens existentes para integrar ferramentas em modelos de linguagem depende de grandes quantidades de anotações humanas ou se limita a configurações específicas de tarefas específicas. Em contraste, o Toolformer pode aprender a usar uma variedade de ferramentas de forma generalizada que não requer treinamento especializado para tarefas específicas.

Com técnicas como as encontradas no Toolformer, estamos olhando para um futuro potencial em que os LLMs aprimorados com a capacidade de usar aplicativos externos se tornarão assistentes muito mais versáteis e confiáveis ​​(ostensivamente). Mas a capacidade de realizar chamadas de API também pode aumentar a capacidade de um LLM de causar danos aos dados do usuário (em aplicativos) ou criar problemas no mundo externo (por meio de um navegador da Web ou ferramentas de comunicação) – habilidades que eles podem invocar acidentalmente ao fornecer uma resposta .