Como usar o bate-papo da Nvidia com RTX AI Chatbot em seu computador

A Nvidia lançou o Chat with RXT, um chatbot de IA que opera no seu PC e oferece recursos semelhantes ao ChatGPT e muito mais! Tudo que você precisa é de uma GPU Nvidia RTX e está tudo pronto para começar a usar o novo chatbot AI da Nvidia.

O que é o Nvidia Chat com RTX?

Nvidia Chat with RTX é um software de IA que permite executar um modelo de linguagem grande (LLM) localmente em seu computador. Portanto, em vez de ficar online para usar um chatbot de IA como o ChatGPT, você pode usar o Chat com RTX offline sempre que quiser.

O Chat with RTX usa TensorRT-LLM, aceleração RTX e um Mistral 7-B LLM quantizado para fornecer desempenho rápido e respostas de qualidade equivalentes a outros chatbots de IA online. Ele também fornece geração aumentada de recuperação (RAG), permitindo que o chatbot leia seus arquivos e habilite respostas personalizadas com base nos dados que você fornece. Isso permite que você personalize o chatbot para fornecer uma experiência mais pessoal.

Se você quiser experimentar o Nvidia Chat com RTX, veja como fazer o download, instalar e configurá-lo em seu computador.

Como baixar e instalar o bate-papo com RTX

A Nvidia tornou muito mais fácil executar um LLM localmente em seu computador. Para executar o Chat with RTX, você só precisa baixar e instalar o aplicativo, como faria com qualquer outro software. No entanto, o Chat with RTX possui alguns requisitos mínimos de especificação para instalação e uso adequado.

• GPU RTX série 30 ou série 40
• 16 GB de RAM
• 100 GB de espaço de memória livre
• Janelas 11

Se o seu PC atender aos requisitos mínimos do sistema, você pode prosseguir e instalar o aplicativo.

• Passo 1: Baixe o arquivo ZIP do Bate-papo com RTX.
• Passo 2: Extraia o arquivo ZIP clicando com o botão direito e selecionando uma ferramenta de arquivamento de arquivo como 7Zip ou clicando duas vezes no arquivo e selecionando Extrair tudo.
• Etapa 3: Abra a pasta extraída e clique duas vezes setup.exe. Siga as instruções na tela e marque todas as caixas durante o processo de instalação personalizada. Depois de bater Próximo​​​​​​, o instalador irá baixar e instalar o LLM e todas as dependências.

  

A instalação do Chat with RTX levará algum tempo para terminar, pois baixa e instala uma grande quantidade de dados. Após o processo de instalação, clique em Fechare pronto. Agora é hora de você experimentar o aplicativo.

Como usar o bate-papo Nvidia com RTX

Embora você possa usar o Chat com RTX como um chatbot de IA online normal, sugiro fortemente que você verifique sua funcionalidade RAG, que permite personalizar sua saída com base nos arquivos aos quais você dá acesso.

Etapa 1: criar pasta RAG

Para começar a usar o RAG no Chat com RTX, crie uma nova pasta para armazenar os arquivos que deseja que a IA analise.

Após a criação, coloque seus arquivos de dados na pasta. Os dados armazenados podem abranger muitos tópicos e tipos de arquivos, como documentos, PDFs, texto e vídeos. No entanto, você pode querer limitar o número de arquivos colocados nesta pasta para não afetar o desempenho. Mais dados para pesquisar significa que o Chat com RTX levará mais tempo para retornar respostas para consultas específicas (mas isso também depende do hardware).

Agora que seu banco de dados está pronto, você pode configurar o Chat com RTX e começar a utilizá-lo para tirar suas dúvidas e dúvidas.

Etapa 2: configurar o ambiente

Abra Bate-papo com RTX. Deve ser semelhante à imagem abaixo.

Sob Conjunto de dadoscertifique-se de que o Caminho da pasta opção está selecionada. Agora clique no ícone de edição abaixo (o ícone da caneta) e selecione a pasta que contém todos os arquivos que você deseja que o Chat with RTX leia. Você também pode alterar o modelo de IA se outras opções estiverem disponíveis (no momento em que este artigo foi escrito, apenas o Mistral 7B estava disponível).

Agora você está pronto para usar o Chat com RTX.

Etapa 3: Faça suas perguntas no bate-papo com RTX!

Existem várias maneiras de consultar o Chat com RTX. A primeira é usá-lo como um chatbot de IA normal. Perguntei ao Chat with RTX sobre os benefícios de usar um LLM local e fiquei satisfeito com a resposta. Não foi muito profundo, mas preciso o suficiente.

Mas como o Chat with RTX é compatível com RAG, você também pode usá-lo como um assistente pessoal de IA.

Acima, usei o Chat com RTX para perguntar sobre minha agenda. Os dados vieram de um arquivo PDF contendo minha agenda, calendário, eventos, trabalho e assim por diante. Nesse caso, o Chat with RTX extraiu os dados corretos do calendário dos dados; você terá que manter seus arquivos de dados e datas do calendário atualizados para que recursos como esse funcionem corretamente até que haja integrações com outros aplicativos.

Há muitas maneiras de usar o Chat com RAG da RTX a seu favor. Por exemplo, você pode usá-lo para ler documentos jurídicos e fornecer um resumo, gerar código relevante para o programa que está desenvolvendo, obter destaques com marcadores sobre um vídeo que você está ocupado demais para assistir e muito mais!

Etapa 4: recurso bônus

Além da sua pasta de dados local, você pode usar o Chat with RTX para analisar vídeos do YouTube. Para fazer isso, sob Conjunto de dadosmudar o Caminho da pasta para URL do YouTube.

Copie o URL do YouTube que deseja analisar e cole-o abaixo do menu suspenso. Então pergunte!

A análise de vídeo do Chat with RTX no YouTube foi muito boa e forneceu informações precisas, por isso pode ser útil para pesquisas, análises rápidas e muito mais.

O bate-papo da Nvidia com RTX é bom?

ChatGPT fornece funcionalidade RAG. Alguns chatbots locais de IA têm requisitos de sistema significativamente mais baixos. Então, vale a pena usar o Nvidia Chat com RTX?

A resposta é sim! Vale a pena usar o bate-papo com RTX, apesar da concorrência.

Um dos maiores pontos de venda do Nvidia Chat com RTX é a capacidade de usar RAG sem enviar seus arquivos para um servidor de terceiros. A personalização de GPTs por meio de serviços online pode expor seus dados. Mas como o Chat with RTX é executado localmente e sem conexão com a Internet, usar o RAG no Chat with RTX garante que seus dados confidenciais estejam seguros e acessíveis apenas no seu PC.

Quanto a outros chatbots de IA executados localmente com Mistral 7B, o Chat com RTX tem desempenho melhor e mais rápido. Embora grande parte do aumento de desempenho venha do uso de GPUs de última geração, o uso da Nvidia TensorRT-LLM e aceleração RTX tornou a execução do Mistral 7B mais rápida no Chat com RTX em comparação com outras formas de executar um LLM otimizado para chat.

É importante notar que a versão Chat with RTX que estamos usando atualmente é uma demonstração. Versões posteriores do Chat com RTX provavelmente se tornarão mais otimizadas e proporcionarão aumentos de desempenho.

E se eu não tiver uma GPU da série RTX 30 ou 40?

Bate-papo com RTX é uma maneira fácil, rápida e segura de executar um LLM localmente, sem a necessidade de conexão com a Internet. Se você também estiver interessado em executar um LLM ou local, mas não tiver uma GPU RTX série 30 ou 40, poderá tentar outras maneiras de executar um LLM localmente. Dois dos mais populares seriam GPT4ALL e Text Gen WebUI. Experimente GPT4ALL se desejar uma experiência plug-and-play executando localmente um LLM. Mas se você tiver um pouco mais de inclinação técnica, executar LLMs por meio do Text Gen WebUI fornecerá melhor ajuste fino e flexibilidade.