.
Benj Edwards / Difusão estável
Na quinta-feira, a empresa de IA Anthropic anunciou que deu ao seu modelo de linguagem Claude AI, semelhante ao ChatGPT, a capacidade de analisar o material de um livro inteiro em menos de um minuto. Essa nova habilidade vem da expansão da janela de contexto de Claude para 100.000 tokens, ou cerca de 75.000 palavras.
Como o GPT-4 da OpenAI, o Claude é um modelo de linguagem grande (LLM) que funciona prevendo o próximo token em uma sequência quando recebe uma determinada entrada. Tokens são fragmentos de palavras usadas para simplificar o processamento de dados de IA, e uma “janela de contexto” é semelhante à memória de curto prazo – quantos dados de entrada fornecidos por humanos um LLM pode processar de uma só vez.
Uma janela de contexto maior significa que um LLM pode considerar obras maiores, como livros, ou participar de conversas interativas muito longas que duram “horas ou até dias”, de acordo com a Anthropic:
A pessoa média pode ler 100.000 tokens de texto em aproximadamente 5+ horas e, então, pode precisar de muito mais tempo para digerir, lembrar e analisar essas informações. Claude agora pode fazer isso em menos de um minuto. Por exemplo, carregamos todo o texto de O Grande Gatsby no Claude-Instant (72 mil tokens) e modificamos uma linha para dizer que o Sr. Carraway era “um engenheiro de software que trabalha com ferramentas de aprendizado de máquina na Anthropic”. Quando pedimos ao modelo para identificar o que estava diferente, ele respondeu com a resposta correta em 22 segundos.
Embora possa não parecer impressionante identificar alterações em um texto (o Microsoft Word pode fazer isso, mas apenas se tiver dois documentos para comparar), considere que, após alimentar Claude com o texto de O Grande Gatsby, o modelo de IA pode responder interativamente a perguntas sobre ele ou analisar seu significado. 100.000 tokens é uma grande atualização para LLMs. Em comparação, o GPT-4 LLM da OpenAI possui comprimentos de janela de contexto de 4.096 tokens (cerca de 3.000 palavras) quando usado como parte do ChatGPT e 8.192 ou 32.768 tokens por meio da API GPT-4 (que atualmente está disponível apenas via lista de espera).
Para entender como uma janela de contexto maior leva a uma conversa mais longa com um chatbot como ChatGPT ou Claude, fizemos um diagrama para um artigo anterior que mostra como o tamanho do prompt (que é mantido na janela de contexto) aumenta para conter todo o texto da conversa. Isso significa que uma conversa pode durar mais tempo antes que o chatbot perca sua “memória” da conversa.
Benj Edwards / Strong The One
De acordo com a Anthropic, os recursos aprimorados de Claude estendem-se a livros de processamento anteriores. A janela de contexto ampliada pode potencialmente ajudar as empresas a extrair informações importantes de vários documentos por meio de uma interação de conversação. A empresa sugere que essa abordagem pode superar os métodos baseados em pesquisa vetorial ao lidar com consultas complicadas.
Uma demonstração do uso de Claude como analista de negócios, fornecida pela Anthropic.
Embora não seja um nome tão grande em IA quanto a Microsoft e o Google, a Anthropic emergiu como uma rival notável da OpenAI em termos de ofertas competitivas em LLMs e acesso à API. Ex-vice-presidente de pesquisa da OpenAI Dario Amodei e sua irmã Daniela fundado Anthropic em 2021 após um desentendimento sobre a direção comercial da OpenAI. Notavelmente, a Anthropic recebeu um investimento de $ 300 milhões do Google no final de 2022, com o Google adquirindo uma participação de 10% na empresa.
A Anthropic diz que 100 mil janelas de contexto estão disponíveis agora para usuários da API Claude, que atualmente está restrita por uma lista de espera.
.
