在2025年2月21 - 23日于上海举行的全球开发者先锋大会上，MiniMax副总裁刘华对多模态大模型发展进行深度分享的相关内容。
《科创板日报》2月23日消息（记者陈美），2025年2月21 - 23日期间，上海举办了为期三天的全球开发者先锋大会。在此次大会上，MiniMax的副总裁刘华带来了一场非常有深度的关于多模态大模型发展的分享。
刘华提到，自2017年Transformer架构诞生之后，它直接推动了大语言模型的问世。不过，经过七八年的发展，Transformer架构出现了瓶颈。具体来说，当Transformer处理任务的时候，任务的长度与算力消耗程度之间呈现出平方关系。例如，要是当前处理100个token的任务时，算力消耗是一个固定的值，那么当任务变为10000个token的时候，任务量增加了100倍，而此时算力消耗就需要增加到原来的100的平方倍，也就是一万倍。
所以，要是想让大模型在降低算力消耗的情况下处理超长文本，那就必须研发新的模型底层架构。
在这样的背景下，刘华表示MiniMax对这个行业有几个认识：
其一，大模型仍然处在快速发展的进程之中。特别是在2024年2月，OpenAI推出的Sora、GPT4o等展示出视频、语音模型的新能力，大模型在编程等领域有着巨大的潜力，在未来两到三年里，类似从GPT3.5到GPT4这样的技术突破是非常值得期待的。在这样的发展形势下，底层模型的迭代对产品的上限有着决定性的作用，像Deepseek因为新一代模型使得APP用户量迅速增加，Talkie凭借自研模型超越Character AI，这都充分显示出模型的关键价值。
其二，新一代的语音模型将会具备情绪表达能力。在2024年年中，OpenAI推出的GPT4o能够实现即时对话，支持被打断并开启新对话，还能让语音模型展现出人类的喜怒哀乐等情绪。
其三，推理阶段也出现了Sscaling law。随着DeepSeek的开源，市场对“强化学习”更加熟悉了，这促使训练阶段的Sscaling law延伸到了推理阶段。与此同时，Transformer基础底层架构的革新以及诸多合成数据技术、多模态模型技术不断出现。这一系列的发展都表明，在未来两到三年里大模型将会飞速发展，技术的上限还远远没有显现出来。
总体而言，刘华认为，未来MiniMax将构建多种模态的开源生态，大模型的研发也将依靠高度组织化、精细化的研发团队。“在方向上，稠密模型已经被摒弃，而是要在稀疏架构上进行研究。接下来，MiniMax会在线性注意力机制或者非Transformer架构上努力。”
本文总结了在2025全球开发者先锋大会上MiniMax副总裁刘华对多模态大模型发展的观点。包括Transformer架构的瓶颈、大模型的发展阶段、新一代语音模型的能力以及推理阶段的变化等内容，还提及MiniMax未来在大模型研发方面的方向是打造多种模态的开源生态以及在稀疏架构等方面的研究。
原创文章，作者：东海凝丝，如若转载，请注明出处：https://www.gouwuzhinan.com/archives/22842.html
