omlx：Apple Silicon 上的 LLM 推理服务器

omlx 是一个面向 Apple Silicon 的 LLM 推理服务器，支持连续批处理和 SSD 缓存，可通过 macOS 菜单栏进行管理。该项目在 GitHub 日榜排名第 8，当期新增 96 颗星，累计获得 18909 颗星和 1642 次 Fork，主要使用 Python 开发。它旨在为 Mac 用户提供本地大模型推理服务，优化内存和存储使用，提升推理效率。