【豆包提出全新稀疏架构 推理成本较MoE最高可降83%】
随着模型规模的扩大，推理成本和访存效率已成为限制大模型规模应用的关键瓶颈。近期， #字节 跳动豆包大模型团队提出了全新的稀疏模型架构UltraMem，该架构有效解决了MoE推理时高额的访存问题，推理速度较MoE架构提升2—6倍，推理成本最高可降低83%。该研究还揭示了新架构的Scaling Law，证明其不仅具备优异的Scaling特性，更在性能上超越了MoE。