Microsoft AI prezentuje model bazowy MAI-Base-2 o architekturze MoE

Microsoft AI ujawniło nowy model bazowy o nazwie MAI-Base-2, który służy jako punkt wyjścia do trenowania innych modeli w fazie przedtreningu. Model ten ma zostać następnie dostosowany do specyficznych zastosowań w etapie treningu po wstępnym. Wcześniej firma wprowadziła model MAI-Thinking-1, który opierał się na wcześniejszej wersji MAI-Base-1, nigdy publicznie niezaprezentowanej. Tym razem Microsoft AI zdecydowało się najpierw zaprezentować MAI-Base-2, podkreślając jego dobre wyniki, i poinformowało, że model ten przechodzi właśnie proces treningu po wstępnym w celu przekształcenia go w inne modele specjalistyczne.

MAI-Base-2 wykorzystuje architekturę Mixture-of-Experts i posiada 2,8 biliona parametrów, z czego 80 miliardów jest aktywnych. Jest to znaczące powiększenie w porównaniu z MAI-Base-1, który miał 1 bilion parametrów i 35 miliardów aktywnych. Microsoft AI wyjaśniło, że zwiększenie skali było konieczne, aby dorównać innym modelom bazowym pod względem ilości danych treningowych, ich jakości oraz zasobów obliczeniowych. Firma podkreśliła, że korzysta z własnych danych treningowych, nie używając wyników generowanych przez inne modele, oraz że do treningu wykorzystano około 16 000 jednostek GB200 przez okres 38 dni.