Nuovi computer per l'intelligenza artificiale mirano a ridurre i costi dei token

Una nuova generazione di computer per l'intelligenza artificiale basati su agenti promette di ridurre i costi dei token per le aziende. Questi potenti dispositivi portatili possono abbassare tali spese eseguendo i carichi di lavoro localmente, evitando di inviare i dati a costosi modelli linguistici di grandi dimensioni situati nel cloud.

HP ha annunciato la workstation mobile ZBook Ultra G3a, progettata specificamente per il settore aziendale. Questo dispositivo integra CPU, memoria e GPU di AMD in un unico chip per velocizzare il flusso di dati tra i componenti. Altri produttori, tra cui Asus, Dell e Lenovo, lanceranno computer portatili dotati di superchip RTX Spark di Nvidia, che include un processore grafico Blackwell RTX. Mentre i primi modelli RTX Spark saranno rivolti ai consumatori, le versioni aziendali sono previste per fasi successive.

Queste macchine possono eseguire agenti, chatbot, generare video e scrivere codice utilizzando modelli con miliardi di parametri senza connessione a internet. L'integrazione della soluzione Portable Computer di Perplexity permette, ad esempio, ai progettisti di utilizzare l'intelligenza artificiale in programmi di modellazione 3D come Autodesk Revit in luoghi privi di rete, collegandosi poi al cloud per fasi più avanzate. Perplexity utilizza circa 19 modelli avanzati per selezionare quello più adatto.

I server Model Context Protocol collegano i modelli di intelligenza artificiale alle applicazioni locali previa autorizzazione dell'utente. Questa architettura permette di mantenere i dati sensibili all'interno dei confini aziendali. Secondo l'analista Jack Gold di J. Gold Research, tra due e tre anni almeno il 20 o 25 percento dei carichi di lavoro avanzati di intelligenza artificiale verrà eseguito su computer locali anziché interamente nel cloud.

Sebbene queste macchine non siano economiche, mirano a ridurre i costi ricorrenti del cloud, un aspetto critico per la ricerca e lo sviluppo. HP ha introdotto un calcolatore di ritorno sull'investimento per confrontare i costi locali rispetto a quelli del cloud, suggerendo che in alcuni casi il dispositivo possa ripagarsi in nove mesi. Per confronto, i modelli Surface Laptop e Surface Pro di Microsoft con chip Qualcomm Snapdragon X2 Plus partono rispettivamente da 1 199 e 1 149 dollari.

Nvidia sta promuovendo una strategia ibrida in cui il lavoro è distribuito tra computer locali, ambienti edge e cloud. L'azienda ha sviluppato strumenti per reindirizzare l'inferenza verso computer inattivi in una rete, come macchine Mac o Windows con GPU Nvidia, per mantenere i dati interni o spostarli nel cloud quando è necessario un modello più grande.