OpenRouter:智能体Token用量达人类7倍,缓存率成推理成本关键
AI模型聚合平台OpenRouter 10月8日披露的数据显示,平台上AI智能体的Token消耗量已全面超过人类用户。2月6日,智能体首次在Token消耗量上反超人类;到9月最后一周,智能体类API密钥消耗的Token已达人类类密钥的约7倍,OpenRouter预计这一差距未来几个月还将扩大。平台每月会根据工具调用频率、单次对话轮数和请求发送间隔等特征,将API密钥划分为"智能体型""人类型"或"混合型"。
智能体的用量结构与人类明显不同。由于每执行一步都要重新发送完整上下文,9月智能体近90%的用量为缓存读取,1月这一比例约为60%,输出仅占约1%。缓存读取价格约为新输入Token的十分之一,以Claude Sonnet 5计,每百万智能体Token的成本约0.51美元,不使用缓存则约2.08美元。分析认为,大模型的算力需求正从人机对话快速转向自动化的智能体工作流,这将重塑模型厂商与算力供应链的需求结构。
智能体的用量结构与人类明显不同。由于每执行一步都要重新发送完整上下文,9月智能体近90%的用量为缓存读取,1月这一比例约为60%,输出仅占约1%。缓存读取价格约为新输入Token的十分之一,以Claude Sonnet 5计,每百万智能体Token的成本约0.51美元,不使用缓存则约2.08美元。分析认为,大模型的算力需求正从人机对话快速转向自动化的智能体工作流,这将重塑模型厂商与算力供应链的需求结构。
评论
0/500
登录 后参与讨论
免责声明:本文内容仅供参考,不构成任何投资建议。
更多快讯