PrismML lança Bonsai com pesos de um único bit baseados em Qwen
20 de outubro de 2026 · 2 min de leitura
A PrismML desenvolveu o Bonsai, um modelo que utiliza um esquema de armazenamento de pesos de um único bit nos blocos de transformadores. O sistema utiliza um bit por peso e um valor de escala de 16 bits para cada grupo de 128 pesos, resultando em uma média de 1,125 bits por peso, em comparação aos 16 bits originais.
O modelo Bonsai-1.7B apresenta uma perplexidade de 16,5, enquanto a versão original do Qwen3-1.7B possui uma perplexidade de 12,3. A PrismML disponibilizou o formato, núcleos de computação para MLX e llama.cpp, além de uma ferramenta de quantização, mas não revelou o método utilizado para obter os pesos.
Análises indicam que o Bonsai é baseado no Qwen3-1.7B. A tabela de incorporações do Bonsai foi obtida por arredondamento simples dos pesos do Qwen, com uma concordância de sinais de 99,93%. No entanto, as matrizes dos blocos mostram divergências intencionais, com a proporção de sinais invertidos variando entre 21% e 36%.
Um estudo comparativo revelou que a similaridade de cosseno entre o Bonsai e o Qwen ficou entre 0,41 e 0,58, valor inferior ao 0,79 obtido por arredondamento simples. Além disso, os sinais não coincidem para 29% dos pesos e a escala do grupo é quase o dobro do módulo médio dos pesos no grupo.
Essas características sugerem que o modelo foi criado via descida de gradiente partindo dos sinais do modelo original. Pesos menores tiveram sinais invertidos em 48% dos casos, enquanto pesos maiores foram invertidos em apenas 5,6%, um padrão típico de treinamento por gradiente.