Hacker News Show8/17 01:1373 分精选
将DeepSeek V4 Flash压缩至57GB并在Mac上编写编译器
Show HN: I shrank DeepSeek V4 Flash to 57GB and it wrote a compiler on my Mac
推荐理由:值得看:开发者把284B的DeepSeek V4 Flash压缩到57GB,在Mac上1小时写出C编译器。对想本地跑大模型的AI创作者,量化+专家剪枝思路可直接抄。
开发者通过量化、专家剪枝等技术,将DeepSeek V4 Flash 0731(总参数284B,激活13B)压缩至57GB,保留推理、工具调用和编码能力。在128GB内存的MacBook M3 Max上,模型成功在1小时内编写出针对ARM64的最小C编译器,并通过斐波那契和FizzBuzz测试。该模型可在32GB内存的MacBook上以128K上下文运行,速度约5 tok/s;在16GB内存的MacBook Air M1上速度仅1.39 tok/s。相关工具包括MoEspresso引擎和mlx-iqk库。Hacker News讨论帖获得20分。