阶跃开源权重获昇腾沐曦壁仞首发支持

IT时代网10月16日消息,阶跃星辰开源的 Step 5 Preview 模型权重获得华为昇腾、沐曦、壁仞等国产芯片平台的首发支持。

本次开放内容包括 BF16 与 FP8 模型权重、技术博客与配套开源开发工具。Step 5 Preview 面向长程智能体任务设计,采用稀疏 MoE 架构,总参数量 600B、每 token 激活参数 27B,支持 100 万 token 上下文窗口,原生支持文本与视觉输入。

官方同步公开的技术博客介绍了该模型通过架构与训练的协同优化支持更长更复杂任务的方式:92 层窄深架构为隐式多跳推理提供更深的计算路径,同时控制参数规模与计算成本;稀疏 GQA 通过块级索引与稀疏计算合并降低百万 token 上下文的计算开销,其中 8 token 块级索引可将索引与 top-k 选择开销降至原来的八分之一。

此前本站曾报道过 阶跃星辰开放 Step 5 Preview 大模型权重 的消息。

注:本文配图由AI生成。本文综合自IT之家等,文中包含AI辅助创作的内容。

编辑:林一舟

THE END