Chat Gpt arriva sulle schede video Nvdia?

 

NVDIA CHAT WITCH RTX: COS'E' E COME FUNZIONA:

Il cuore di questa innovazione è un chatbot basato su intelligenza artificiale, che opera direttamente sulle GPU GeForce RTX 30 e 40. Questa tecnologia sfrutta TensorRT-LLM e il software Retrieval Augmented Generated (RAG), integrati senza soluzione di continuità nelle GPU RTX e ottimizzati grazie ai Tensor cores incorporati. 

L'obiettivo principale di Chat with RTX è democratizzare l'accesso all'incredibile potenza delle schede grafiche per attività legate all'intelligenza artificiale. Fino ad oggi, l'IA ha brillato principalmente nel campo visivo, con immagini e video, mentre le conversazioni online sono state spesso trascurate, limitate dai costi elevati e dai complessi requisiti dei modelli ospitati nei grandi data center.

Per colmare questo divario e rendere l'IA conversazionale accessibile a tutti, NVIDIA ha sviluppato una soluzione rivoluzionaria che semplifica drasticamente il processo. L'applicazione Chat with RTX opera direttamente sul tuo dispositivo, avviabile direttamente dal browser, eliminando le complessità legate alla configurazione di nuove tecnologie.

 

 

COME INSTALLARE NVDIA CHAT WITH RTX

 

Per provare il nuovo tool, basterà recarci a questolink ed avviare il download di una zip da 35GB. Durante l’installazione, vi saranno numerosi processi automatici ed essenziali che dilateranno di molto i tempi di installazione.

L'esame dei file memorizzati sul dispositivo per acquisire informazioni supplementari richiederà un tempo variabile, dipendente dalla quantità di file presenti. Nonostante sia ancora in fase di sviluppo, la funzione "Chat with RTX" si dimostra promettente, sebbene i possessori di schede grafiche RTX serie 20 potrebbero essere penalizzati. L'assenza di supporto per le GPU con architettura Turing originale potrebbe, secondo le indicazioni di Nvidia basate su vincoli temporali, estendersi anche alle schede della serie 20 in futuro.

 

COME FUNZIONA:

 

Chat with RTX si distingue non solo per l’elaborazione di testo, ma anche per la gestione di diversi formati di file, tra cui testo, pdf, doc/docx e xml. Sfrutta le capacità di Large Language Models rinomati come Mistral o Llama2 per generare risposte e può accedere a risorse online come video su YouTube.

Possiamo inoltre inserire URL specifici, come per video su YouTube o intere playlist, al fine di ottimizzare ulteriormente i risultati della ricerca nel dataset.

 

 

Il nuovo applicativo ci consente di utilizzare modelli di linguaggio open source senza la necessità di connessione al cloud. Il vero svantaggio di “Chat with RTX” risiede fondamentalmente nei requisiti di sistema elevati e nelle dimensioni del download considerevoli, soprattutto se comparati alle soluzioni cloud. Per l’esecuzione, sarà necessaria una GPU RTX della serie 30 o successiva con almeno 8GB di VRAM e il sistema operativo Windows 10 o 11.

l’IA ci consente quindi di specificare i propri file in modo che possa produrre risposte adatte alle esigenze dell’utente. Possiamo importare vari formati di file, tra cui .txt, PDF, Word e documenti XML. I video di YouTube possono anche essere scaricati e analizzati dal chatbot.

Sostanzialmente, una volta terminata la fase di installazione ed importazione del dataset, funzionerà esattamente come ChatGPT ad esempio, però avrà una base di dati personalizzata e disponibile sempre in locale.