Testy lekkich modeli językowych na tanich serwerach VPS bez kart graficznych
8 listopada 2026 · Czas czytania: 2 min
Dostępne również w Türkçe
Przeprowadzono testy możliwości rozwiązywania zadań biznesowych za pomocą lekkich modeli językowych na tanim serwerze VPS bez jednostki GPU. Eksperyment wykorzystał serwer Justhost.ru z szablonem Ollama, wyposażony w 4 vCPU Intel Xeon Gold 6148 o częstotliwości 2,4 GHz oraz 4 GB pamięci RAM, przy miesięcznym koszcie około 1,5 tys. ₽.
Wyniki wykazały, że modele o rozmiarze do 4 miliardów parametrów mogą funkcjonować na takiej konfiguracji. Zadania krótkie, takie jak klasyfikacja zgłoszeń i analiza wydźwięku opinii, są realizowane na poziomie roboczym. Model QVikhr-3-4B poprawnie oznaczył 20 z 20 zgłoszeń, poświęcając na każde 3,5 sekundy, co przekłada się na maksymalną wydajność serwera wynoszącą około 950 takich zapytań na godzinę.
Ekstrakcja danych z wniosków, normalizacja systemów CRM oraz tworzenie szkiców ogłoszeń działają poprawnie pod warunkiem, że odpowiedzi są weryfikowane przez kod lub człowieka. Z kolei przetwarzanie długich tekstów, w tym streszczanie dokumentów i odpowiedzi w oparciu o bazę wiedzy, trwa od 40 do 100 sekund na odpowiedź i powoduje aktywny swap, co czyni je nieprzydatnymi do czatów z klientami, ale odpowiednimi do procesów w tle.
Modele o rozmiarze 1 do 2 miliardów parametrów zostały uznane za nieprzydatne w zadaniach biznesowych, ponieważ mylą kategorie i zmyślają fakty. Stwierdzono, że wąskim gardłem systemu jest pamięć RAM, dlatego rekomendowana jest konfiguracja bazowa z 8 GB RAM.
Infrastruktura testowa opierała się na Dockerze, zawierającym Ollama 0.35 oraz Open WebUI 0.11, z zewnętrznym serwerem nginx i protokołem HTTPS. Obrazy Docker zajmują około 13 GB miejsca na dysku przed pobraniem modeli. Aby uruchomić modele 4B, konieczne było zatrzymanie interfejsu Open WebUI, który sam zajmuje około jednego gigabajta pamięci.
Podczas testów zastosowano kwantyzację 4-bitową Q4_K_M dla większości modeli. W celu zapobieżenia zamykaniu modeli 4B przy długich tekstach skonfigurowano 4 GB swap z parametrem vm.swappiness=10. Zauważono również, że równoległe sloty oraz funkcja flash attention nie zwiększyły prędkości działania na tym konkretnym serwerze, a zapytania są przetwarzane sekwencyjnie.