NVIDIA Releases Personal AI Router (PAIR): An Open Source Virtual Inference Router that Distributes Local AI Requests Across RTX, DGX Spark, and Mac Nodes

📋总体概括

NVIDIA发布了开源项目Personal AI Router（PAIR），这是一个虚拟推理路由器，可将家庭局域网内已有设备的本地AI请求智能分发到RTX、DGX Spark和Mac等异构节点上。PAIR通过代理现有Ollama和LM Studio端点实现零改动接入，调度器依据就绪状态、引擎状态、模型是否精确存在、任务负载和GPU利用率筛选节点。官方演示中，五个子代理任务单机RTX Spark笔记本平均耗时18分钟，三设备集群仅8分48秒，但NVIDIA强调这是演示而非基准测试。