QwQ-32B
约 271 字小于 1 分钟
2025-03-06
今天（2025-03-06）Qwen更新了新模型QwQ-32B。QwQ 是 Qwen 系列中的推理模型。与传统的指令调优模型相比，具备思考和推理能力的 QwQ 在下游任务中，特别是在解决难题时，能够显著提升性能。QwQ-32B 是一个中等规模的推理模型，其性能可以与最先进的推理模型相媲美，例如 DeepSeek-R1、o1-mini。
此仓库包含 QwQ 32B 模型，具有以下特点：
- 类型：因果语言模型
- 训练阶段：预训练及后训练（监督微调和强化学习）
- 架构：带有 RoPE、SwiGLU、RMSNorm 和 Attention QKV 偏置的 transformers
- 参数数量：325 亿
- 非嵌入参数数量：310 亿
- 层数：64 层
- 注意力头数（GQA）：Q 为 40 个，KV 为 8 个
- 上下文长度：完整支持 131,072 个 tokens