Nowa generacja komputerów AI ma obniżyć koszty tokenów

Nowa generacja komputerów osobistych opartych na agentach ma na celu obniżenie kosztów tokenów dla przedsiębiorstw. Urządzenia te pozwalają na lokalne wykonywanie zadań związanych ze sztuczną inteligencją, co eliminuje konieczność przesyłania danych do kosztownych dużych modeli językowych w chmurze.

Firma HP zaprezentowała mobilną stację roboczą ZBook Ultra G3a, która jest skierowana wyłącznie do sektora biznesowego. Komputer ten wykorzystuje procesor AMD Ryzen AI Max Pro i integruje jednostkę centralną, pamięć oraz układ graficzny AMD w jednym chipie, co przyspiesza przepływ danych. Urządzenie ma być dostępne w październiku. Inni producenci, w tym Asus, Dell oraz Lenovo, planują wprowadzenie laptopów z superchipami RTX Spark od firmy Nvidia, które zawierają procesor graficzny Blackwell RTX. Pierwsze z tych modeli będą skierowane do konsumentów, a wersje biznesowe pojawią się później.

Maszyny te posiadają wydajne procesory graficzne i duże zasoby pamięci, co umożliwia uruchamianie agentów, chatbotów, generowanie wideo oraz pisanie kodu na modelach z miliardami parametrów bez dostępu do internetu. Przykładowo, projektanci mogą korzystać z programu do modelowania 3D Autodesk Revit w miejscach pozbawionych sieci, dzięki integracji rozwiązania Portable Computer od firmy Perplexity. Firma HP nawiązała współpracę z Perplexity w zakresie obsługi programu Revit.

Serwery Model Context Protocol łączą modele sztucznej inteligencji z aplikacjami na komputerze za zgodą użytkownika. Rozwiązania te pozwalają na zachowanie wrażliwych danych wewnątrz granic firmy. Firma Nvidia oferuje narzędzia umożliwiające przekierowanie wnioskowania do nieaktywnych komputerów w sieci, takich jak urządzenia Mac i Windows z procesorami graficznymi Nvidia, lub do chmury w razie potrzeby.

Analityk Jack Gold z J. Gold Research przewiduje, że w ciągu najbliższych dwóch do trzech lat co najmniej 20 do 25 procent zaawansowanych obciążeń AI będzie realizowanych na komputerach zamiast całkowicie w chmurze. Choć urządzenia te będą droższe od standardowych komputerów AI, takich jak modele Surface Laptop 13-calowy i Surface Pro 12-calowy z chipem Qualcomm Snapdragon X2 Plus, które kosztują odpowiednio od 1 199 i 1 149 dolarów, mają one obniżyć powtarzalne koszty chmurowe.

HP udostępnia kalkulator zwrotu z inwestycji, który pozwala porównać koszty lokalnego uruchamiania sztucznej inteligencji z kosztami chmurowymi. Według firmy w niektórych scenariuszach urządzenie może zwrócić się w ciągu dziewięciu miesięcy. Przedsiębiorstwa prawdopodobnie przyjmą strategię hybrydową, dzieląc pracę między lokalne komputery, środowiska brzegowe i chmurę.