- MiniMax-Text-01 and 456 bilaria totalt parametrar och kan haantara up to miljoner 4 tokens under inferens.
- The MiniMax-VL-01 uses a lightweight Vision Transformer and processes 512 millijarder vision-språk tokens.
- Den ”lightning attention” mekankenen minkar komplexiteten vid mangeling av länga sequenker.
- Modellerna erbjuder up till 20-32 vangen langger kontextfönster än traditionalela modeler.
- MiniMax-Text-01 reaches 88,5% in MMLU and GPT-4.
- The MiniMax-VL-01 överträfar sina motsvarigheter med 96,4% accuracy på DocVQA.
- It works with better CUDA performance to increase over 75% performance on Nvidia H20 GPU:er.
There's a lot of variety to work with in the AI-världen, and a lot more will come out of it to capture the MiniMax full of storslagen entré! De har neinen lansarat en serie oppna källkodsmodeller som lovar att ässätre spelet.
Modellerna MiniMax-Text-01 or MiniMax-VL-01, may not be able to afford 4 million tokens – it also has 32 advanced tokens like the GPT-4 model.
MiniMax-Text-01s 4M-kontextfönster
MiniMax-Text-01 includes the genom sitt enorma kontextfönster in 4 milojeto tokens, the vilket enables the handling av enorma more information in the input-output-session. Denna funktion drivs av ”Lightning Attention”, ne innovativ mekanism som attjar nära linjär beräkningskomplexitet – en första commercial implementing av linjär attention. The integrated model of denna arkitektur med Softmax Attention och Mix-Professional (MoE), includes parameters of 45,9 mm 45,9 per token for the best realization of the processing av ultralånga data.
- The Kontextfrentest är 32 gngöger størror the leading modeler som GPT-4o
- 100% accuracy required on ”Needle-In-A-Haystack”-uppgiften and 4 scripts for 4 million tokens
- Minimum prestandaförsämring vid käätt indatalängd
- Möjliggör mangeling av information corresponding to ett litet bibliotek in enda session
Lightning Attention and efficiency
Attention to lightning, and Teknik som used in MiniMax-Text-01, är ett important genombrott för att effikkeit handarta länga textsequener. Den har two big advantages: den hälden en geven berbessingsgehäisten no matter what textens ländig och gebruiker en fast mövgen datorminne.
Tekniken fungerar genom att dela up beräkningarna and två delar – in block and mellan block. Denna uppdelning gör att man kan svetika de vaiksämää summeringsberäkningar som lijre var ett problem i linjära attävätäsmodeller.
Tillgänglighet och kontroverter
Even if MiniMax has a tillgängliga modeller on GitHub with a Hugged face är de inte riktigt öppen källkod. Företagets restrikstika licensiering objäger austängung för att gegenättä rivaliserande AI-system och staller överninger krav på plattformar med över 100 million miljeonte aktiva aktivät.
MiniMax produkter is compatible with viss kritik:
- Talkie-appen togs released from Apple's App Store and also look like AI-avatars or an abusive person.
- Uppgifter om upphovsrättsintrång från briktanie TV-kanaler och den kiniska streamingtjänsten iQIYI vägättä om öfögälä utängung av upphovsrättsskyddad inhät i träningsdata.
MiniMax grundades 2021 av forgir anstallda från det kinšinka AI-jätten SenseTime. Despite its relatively short history, the company quickly established itself as a leading actor in AI-innovation. Since Alibaba is changing Tencent between MiniMax and lyckats the samla is more than 850 million dollars and the riskkapital is very expensive up to 2,5 million dollars.
minimaxi.com/en
huggingface.co/spaces/MiniMaxAI/MiniMax-VL-01
github.com/MiniMax-AI
