“嫦娥”和“玉兔”刚睡醒，就被网友的脑洞评论刷了屏

由于年代久远，嫦娥麻布现已破碎了不少，但仍然能够明晰见到画面正中是菩萨像。

1下个Transformer时间当模型的代际迭代不再凶狠，和玉上下文长度和逻辑推理正在成为两个最要点方向。在Transformer的每8层中，兔刚有7层运用LightningAttention，高效处理部分联系;而剩余1层保存传统的Softmax注意力，保证可以捕捉要害的大局上下文。

DeepSeekV3被描述把Nvidia的卡榨干了，睡醒刷而MiniMax可以完成如此高的推理MFU，很要害的也是他们直接对练习结构和硬件做优化。咱们正在研讨更有用的架构，被网终究完全去掉softmax注意力，然后有或许在不呈现核算过载的前提下完成无限制上下文窗口。在上一年MiniMax榜首次开发者活动上，脑洞创始人就曾体系共享过MiniMax的技能崇奉：脑洞更快的练习和推理，而完成办法他其时也举了两个比如：线性注意力和MoE。

最初Attention机制也现已在试验室走红，评论屏但争议依然不断，评论屏是信任它的潜力的Google实在堆上了算力和资源，把它从理论试验，做成了大规模布置完成出来的真东西。MoE加上史无前例大规模投入出产环境的LightningAttention，嫦娥再加上从结构到CUDA层面的如软件和工程重构，嫦娥会得到什么?答案是，一个追平了尖端模型才能、且把上下文长度提升到400万token等级的新模型。

由所以业界榜首次做如此大规模的首要依靠线性注意力模型，和玉咱们简直重构了咱们的练习和推理体系，和玉包含更高效的MoEAll-to-all通讯优化、更长的序列的优化，以及推线性注意力层的高效Kernel完成。

在注意力机制层面，兔刚MiniMax-01做了斗胆的立异，兔刚在业界初次完成了新的线性注意力机制，它的80层注意力层里，每一层softmaxattention层前放置了7层线性注意力lightningattention层。另一个有意思的调查是，睡醒刷这两家出彩的公司，睡醒刷都是在ChatGPT呈现之前就现已投入到大模型技能研制里去的公司，这两个模型冷艳之处也都不在于曩昔习气看到的追逐GPT4的形式，而是依据自己对技能演进的判别，做出的重投入、乃至有些赌注意味的立异，在一系列继续的厚实作业后，交出的答卷。

Softmaxattention是Transformer的中心注意力机制，被网它是Transformer成为今日大模型热潮里的柱石的要害，被网但一起它也有着先天的问题它会让模型在处理长文本时杂乱度成n的平方的添加。一起，脑洞为了平衡功率与大局信息捕捉才能，它经过很多的试验终究找到当下混合注意力机制的最佳配方：7比1。

MiniMax-01是一个总参数4560亿，评论屏由32个Experts组成的MoE(混合专家)模型，评论屏在多个干流评测集上，它的归纳才能与GPT-4o和Claude3.5sonnet齐平，而一起，它的上下文长度是今日顶尖模型们的20-32倍，而且跟着输入长度变长，它也是功能衰减最慢的那个模型。这个设定的实际考虑，嫦娥是要让模型在单台机器8个GPU和640GB内存的条件下，运用8位量化处理超越100万个token。

很赞哦!（79867）