Kimi k3 开放权重：2.8T MoE 模型支持文本与图像

Kimi k3 模型已开放权重，采用 MoE 架构，总参数量 2.8T，激活参数 104B，包含 93 层网络（其中 1 个密集层、69 个 KDA 层和 24 个 Gated MLA 层）。注意力隐藏维度 7168，96 个注意力头，MoE 隐藏维度每专家 3072，共 896 个专家，每 token 选择 16 个专家，另有 2 个共享专家。词汇量 160K，上下文长度 1,048,576，支持文本和图像多模态输入。视觉编码器为 MoonViT-V2，参数 401M。量化采用 MXFP4 权重与 MXFP8 激活，支持量化感知训练。社区讨论热度高，用户询问体验及已支持的 MaaS 平台。