Ultrafast przyspiesza GPT-6 Astra do 8 razy przez interfejs OpenAI API

OpenAI udostępniło tryb Ultrafast dla modelu GPT-6 Astra przez interfejs API wszystkim użytkownikom, jednak z ograniczeniami początkowego użycia. Tryb działa poprzez wybór modelu GPT-6-astra i następnie usługi ultrafast, przy czym firma zaleca korzystanie z WebSockets, aby zredukować koszty nawiązywania połączeń w aplikacjach wrażliwych na czas.

OpenAI potwierdza, że tryb oferuje szybkość sięgającą ośmiu razy większą niż standardowa usługa, z różnicą wynikającą od długości wejść i wyjść oraz obciążenia. NVIDIA wyjaśniła również, że wdrożenie opiera się na jednostkach Blackwell i Vera Rubin w warstwie wnioskowania, co oznacza, że jest to płatna usługa, a nie nowa wersja samego modelu. Nowością jest szybsza warstwa operacyjna dla aplikacji i agentów.