跳到正文
Semiconductor Engineering· Quadric.io·· 12 小时前AI 评分23

Quadric Chimera GPNPU 支持变长 Prompt 推理

Variable-Length Prompts on Chimera GPNPU

相关产业 · 物理AI/端侧AI

AI 导读

Quadric Chimera GPNPU 用单个二进制支持配置容量内的任意长度 prompt,无需按长度区间分别编译和验证。多数编译式推理栈对 1024 token 图每次固定计算 1024 个位置,输入 50 token 时其余 974 个位置按 padding 计算。Chimera 称由此避免这部分无效算力开销。

来源:Semiconductor Engineering · semiengineering.com