Hacker News Show8/11 01:2278 分精选
Needle2：14MB智能体LLM，适用于手机、可穿戴设备、智能家居和机器人
Show HN: Needle2: 14MB agentic LLM for phones, wearables, smart home and robots
推荐理由：14MB的智能体LLM，专为手机、穿戴设备等边缘硬件设计，性能对标大模型但体积小70倍，对做端侧AI产品或IoT场景的开发者极具参考价值。
Cactus公司发布Needle 2，这是一款14MB的智能体LLM，专为手机、可穿戴设备、智能家居、小型机器人和微控制器设计。模型为45M参数，2bit压缩，单二进制文件14MB，运行完整会话仅需28MB RAM。在树莓派5上解码速度达500 tokens/秒，在Meta Quest 3S和Apple Vision Pro等VR设备上为400-1500 tokens/秒，在三星A系列等200美元以下手机上为300-700 tokens/秒。在工具调用和移动设备使用基准测试中，Needle 2与LFM2.5 230M和Apple Foundation Model等小模型互有胜负，但体积小5-70倍。该模型基于简单注意力网络，每token仅需70 MFLOPs，比最小的高性能LLM节省7-85倍能耗。Needle 2还支持结构化提取，可将模式作为工具传入，返回结构化输出。