Nvidia anuncia chatbot personalizado integrado em suas GPUs

A NVIDIA anunciou seu novo chatbot de inteligência artificial com capacidades de inteligência artificial (IA) local para os usuários de suas GPUs GeForce RTX 30 e 40. Ou seja, trata-se de um “ChatGPT” integrado no GPU do usuário, sem a necessidade de conexão à internet.

O recurso, chamado “Chat with RTX”, é um chatbot para PCs Windows desenvolvido com TensorRT-LLM, disponível gratuitamente para os modelos mais recentes de GPUs RTX. 

Nesse sentido, chatbot permite aos usuários aproveitar as funcionalidades de IA localmente. Portanto, sem necessidade de conexão com a internet, oferecendo uma gama de possibilidades interessantes para os proprietários dessas GPUs.

A novidade da NVIDIA, chamada “Chat With RTX”, é um aplicativo de demonstração que permite personalizar um modelo de linguagem GPT (Generative Pre-trained Transformer). Desse modo, permite ao usuário conectar a IA ao seu próprio conteúdo, como documentos, notas, vídeos ou outros dados.

Portanto, utilizando tecnologias como geração aumentada por recuperação (RAG), TensorRT-LLM e aceleração RTX, será possível consultar um chatbot personalizado para obter respostas contextualmente relevantes de forma rápida. Conforme a Nvidia, o fato dea execução do chatbot ser localmente no PC do usuário ou estação de trabalho Windows RTX, os resultados são rápidos e seguros.

“O “Chat With RTX” suporta vários formatos de arquivo, incluindo texto, PDF, DOC/DOCX e XML. Basta direcionar o aplicativo para a pasta contendo seus arquivos, e ele os carregará em sua biblioteca em segundos”, informa a Nvidia.

Além disso, você pode fornecer a URL de uma lista de reprodução do YouTube, e o aplicativo carregará as transcrições dos vídeos na lista. Assim, permitindo que você consulte o conteúdo que eles cobrem.