做一個 Edge AI Orchestrator
當地端的LLM 越來越多,就可分配更多不同的任務,要注意的是 手機 ≠ server node。 然而手機會越來越多,那就做一個類似k8s的概念平台吧,透過一個平台來管理。(架構圖) Edge AI Orchestrator (架構圖) (未完待續...) --------- 注意事項: 手機 ≠ server node : sleep / suspend thermal throttling network jump (WiFi → 4G) background kill