阶跃Step 5开源600B权重:92层深架构,百万Token索引开销降至1/8

BiRun 讯,动察 Beating AI 快讯,阶跃星辰开源 Step 5 Preview 模型权重,FP8 和 BF16 版本已上线 Hugging Face、ModelScope,配套推理代码也同步公开。

Step 5 Preview 总参数 6000 亿,每次生成仅激活约 270 亿参数,支持 100 万 Token 上下文。新公开的技术博客披露,模型采用 92 层「窄而深」架构,让信息经过更多层处理,以支持复杂任务中的多步推理。它还引入 Sparse GQA,将相邻 8 个 Token 合并索引,使索引和 Top-k 筛选开销降至逐 Token 索引方案的 1/8。强化学习阶段,团队把上下文压缩也纳入训练,让 Agent 学会在任务过长时整理进度,再接着执行。

模型采用自定义的 StepFun Model License 1.0,允许一般商业使用,但手机、汽车等硬件厂商若将模型能力集成进商业产品,必须另外签署许可协议。经营 MaaS(模型即服务)业务,且自身及关联公司连续 12 个月总营收超过 2000 万美元的企业,商用时也需要单独取得许可。
你怎么看这条消息?来投第一票

评论

0/500
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯