RTX 4060 跑 35B 模型，每秒 39 Token？伯克利、MIT 联手开源 FreeToken

📋总体概括

伯克利与MIT团队联合开源推理框架FreeToken，通过优化CPU-GPU协同与内存调度，让消费级显卡RTX 4060（仅8GB显存）也能跑动35B参数大模型，推理速度达到每秒39个Token。该项目主打在低配硬件上高效运行大模型，显著降低了本地部署门槛，为端侧与低成本推理提供了新的开源选择。