Subquadratic lança Snap, modelo de decisão que processa 384 mil tokens

Subquadratic lançou o Snap, um modelo de decisão que pode processar até 384 mil tokens de texto e imagens em uma única solicitação, 12 vezes maior que o limite de 32 mil tokens do Jev. O modelo foi apresentado em meados de setembro e permite que agentes de IA tomem decisões em grandes bases de código, documentos e históricos de interação sem precisar dividir as informações em partes menores. Snap pode analisar até 100 mil tokens e responder em cerca de um segundo, reduzindo a dependência de modelos de linguagem de fronteira caros. O CEO Alex Whedon explicou que o projeto foi inspirado no Jev, mas busca superar suas limitações de contexto.

O Snap utiliza a tecnologia de atenção esparsa (SSA) da Subquadratic, que cresce linearmente com o tamanho do contexto, ao contrário dos transformadores convencionais que escalam quadráticamente. Em testes internos, o Snap obteve pontuações superiores em 13 dos 16 benchmarks de código e raciocínio, com destaque para o RULER, onde alcançou entre 96,3 e 99,8 de precisão em entradas de até um milhão de tokens. O modelo ainda superou o Jev no Decision Index 0.2.1, com 61,7 contra 57,9, e no benchmark Nimble, com 82,9% de acurácia frente a 76,0%. Embora o limite de 384 mil tokens seja temporário devido à capacidade de computação disponível, a empresa afirma que a arquitetura permite escalar para um milhão de tokens com apenas 2,6 vezes mais recursos.