做一個 Edge AI Orchestrator

-

當地端的LLM 越來越多，就可分配更多不同的任務，要注意的是手機 ≠ server node。

然而手機會越來越多，那就做一個類似k8s的概念平台吧，透過一個平台來管理。(架構圖)

 Edge AI Orchestrator (架構圖)

(未完待續...)

---------
注意事項:

手機 ≠ server node :

  • sleep / suspend
  • thermal throttling
  • network jump (WiFi → 4G)
  • background kill

    • 1. Sleep / Suspend（休眠）

    手機為了省電會：

    • 螢幕關掉後 CPU 降頻甚至停掉
    • background task 被暫停
      👉 等於「節點突然消失」

    2. Thermal throttling（過熱降速）

    手機跑 AI / 運算時：

    • 溫度上升 → CPU/GPU 降頻
    • 性能會「忽快忽慢」
      👉 節點能力不是固定的

    3. Network jump（網路切換）

    手機會在：

    • WiFi ↔ 4G ↔ 5G 自動切換

    👉 導致：

    • IP 改變
    • 連線中斷
    • session lost

    4. Background kill（背景殺進程）

    iOS / Android 會：

    • 為了省電或記憶體
    • 直接 kill background app

    👉  worker 可能「被系統強制下線」



    留言

    張貼留言