Semiconductor Engineering· Quadric.io·· 12 小时前AI 评分23
Quadric Chimera GPNPU 支持变长 Prompt 推理
Variable-Length Prompts on Chimera GPNPU
AI 导读
Quadric Chimera GPNPU 用单个二进制支持配置容量内的任意长度 prompt,无需按长度区间分别编译和验证。多数编译式推理栈对 1024 token 图每次固定计算 1024 个位置,输入 50 token 时其余 974 个位置按 padding 计算。Chimera 称由此避免这部分无效算力开销。
来源:Semiconductor Engineering · semiengineering.com