MiniMax-Text-01和MiniMax-VL-01开源。
用到了线性注意力,所以在处理长输入的时候有非常高的效率,接近线性复杂度。支持4M上下文的大海捞针。

并且得益于新架构,所以推理更快,在其他模型处理256K tokens的时间,Minimax的模型可以处理高达1000k tokens的信息。

456B的模型,每次激活参数为45.9B,结构图如下:

效果对齐第一梯队。

长文有领先优势。

© 版权声明
THE END

MiniMax-Text-01和MiniMax-VL-01开源。
用到了线性注意力,所以在处理长输入的时候有非常高的效率,接近线性复杂度。支持4M上下文的大海捞针。

并且得益于新架构,所以推理更快,在其他模型处理256K tokens的时间,Minimax的模型可以处理高达1000k tokens的信息。

456B的模型,每次激活参数为45.9B,结构图如下:

效果对齐第一梯队。

长文有领先优势。

暂无评论内容