Perplexity Open Sources Lily: A Rust + Metal Inference Engine for Qwen3.6-35B-A3B on Apple Silicon

📋总体概括

Perplexity开源了本地推理引擎Lily，这是其Perplexity Computer中Hybrid Compute功能背后的核心组件。Lily用Rust编写，针对Qwen3.6-35B-A3B单一模型和Apple Silicon单一芯片家族定制Metal内核。在40核、128 GB的M5 Max上，Lily的prefill吞吐量平均达到MLX-LM的1.23倍，decode吞吐量达到1.35倍。这一开源动作展示了为特定模型和硬件深度定制推理栈所能带来的性能收益，也为Mac本地大模型推理生态提供了新参考。