為什麼我要打造邊緣智能技術棧

AI 集中在雲端,但真實世界運行在邊緣。這是我從零打造邊緣智能技術棧的宣言。

AI 的重心放錯了地方

打開科技新聞,滿屏都是雲端 AI 的故事。更大的 GPU 叢集、更多的訓練資料、更貴的 API 呼叫。好像智能只能住在遙遠的資料中心裡,隨傳隨到——只要你有夠好的網路。

但真實世界不是這樣運作的。

工廠裡的產線攝影機,需要在毫秒內判斷瑕疵品。車上的感測器,不能等雲端回傳結果才決定煞車。偏遠農場的環境監測站,連穩定的 4G 訊號都不一定有。這些場景——工廠、攝影機、感測器、車輛——才是真實世界的骨幹。而它們全都在「邊緣」。

延遲、隱私、頻寬成本,每一個面向都指向同一個結論:智能必須搬到邊緣。

我在 Ubiquiti 待了十四年,親手打造邊緣產品。UniFi 攝影機上跑 on-device AI、三千萬台受管裝置遍布全球——這個經歷讓我極其清楚地看到這道鴻溝:雲端的 AI 飛速進步,但邊緣裝置還活在上個世代。它們大多只是把資料往上丟的「笨管道」,智能完全仰賴雲端。

這不對。


邊緣裝置需要三件事

我花了很長時間在想,到底缺什麼?最後歸結出三個核心需求:

1. 原生智能(Native Intelligence)

裝置本身就要能跑 AI 推論。不是「雲端掛了就變磚」的那種依附式智能,而是真正在晶片上執行模型、處理感測資料、即時做出決策的能力。斷網也能動。

2. 安全連線(Secure Connectivity)

邊緣裝置彼此之間、以及跟管理端之間,需要真正安全的通訊。不只是今天安全——在量子電腦成熟之後依然安全。後量子時代的加密不是未來式,它是現在進行式。

3. 開發者友善的工具鏈(Developer-Friendly Tooling)

讓 AI agent 能直接跟硬體互動的工具。不是要開發者自己寫一堆 glue code 把東西串起來,而是提供乾淨的協定介面,讓 AI 可以直接控制嵌入式裝置——燒錄、除錯、讀取感測器。

這三件事缺一不可。有智能但不安全,等於門戶洞開。有安全但沒智能,就只是加密過的笨管道。有前兩者但工具鏈爛到沒人想用,那一切都只是實驗室裡的 demo。


我正在打造的技術棧

這不是一個專案,而是五個專案,每一個解決一塊拼圖,合在一起構成完整的邊緣智能系統。

AI-HIL MCP — AI 碰觸實體世界的介面

五個 MCP server,讓 AI agent 能直接控制嵌入式硬體:燒錄韌體、啟動除錯器、讀取感測器數據。這是 AI 從「只能看螢幕上的文字」進化到「能碰到實體世界」的那一步。我在前一篇文章裡寫過這個想法的起源——消除人類在 AI 跟硬體之間充當「人肉資料管道」的角色。

Engram — 邊緣 ML 推論平台

吃進感測器資料、跑模型、吐出結果。這是邊緣裝置的「大腦」。不需要雲端 GPU,在本地就能完成推論。目標是讓每一個邊緣節點都有自己思考的能力。

Plexus-Myelin — 後量子加密 VPN

裝置對裝置的通訊保護層。用 X25519 + ML-KEM-768 混合式交握——結合傳統橢圓曲線加密跟 NIST 標準化的後量子演算法。這個 hybrid handshake 已經跑起來了。就算量子電腦明天問世,今天傳輸的資料依然解不開。

Synapse Labs — ESP32 嵌入式加密節點

網路裡最小的節點。在 ESP32 上跑嵌入式密碼學,搭配 Zen 做 pub/sub 通訊。證明即使是資源最受限的微控制器,也能成為安全智能網路的一份子。

OmniTypist — 證明這套技術棧能出貨

Rust + Swift + AI 技術棧打造的消費級產品。v0.0.4 已經完成 Apple 簽章、公證、自動更新。它存在的意義是證明一件事:這套技術棧不只是能寫 demo,而是能交付真正的產品給真正的使用者。

五個專案,一個願景:讓邊緣裝置不再只是資料管道,而是有智能、有安全、有工具支持的完整系統。


為什麼是現在

這個願景不是今天才有的,但「現在可以做到」這件事是新的。幾個關鍵的時間點同時成熟了:

後量子密碼學已經準備好了。 ML-KEM-768 經過 NIST 標準化,不再是學術論文裡的概念,而是今天就能實作、部署的演算法。Plexus-Myelin 裡的 hybrid handshake 就是活生生的證明。

MCP 協定讓 AI 整合變簡單了。 Anthropic 的 Model Context Protocol 提供了一個乾淨的標準,讓 AI agent 能跟外部工具互動。以前要把 AI 接上硬體,需要寫大量客製化的 glue code;現在有了 MCP,這件事的門檻大幅降低。

Rust 讓嵌入式開發又安全又快。 沒有 garbage collection 的開銷,同時有記憶體安全保證。對嵌入式場景來說,這是 C 語言之後最重要的突破。我的每一個專案都用 Rust 寫,這不是偶然。

AI 工具鏈成熟了。 LLM 現在真的能在硬體開發流程中幫上忙。不只是寫寫 code——而是能看 JTAG 輸出、分析 register dump、建議除錯策略。AI-HIL 的整個概念就建立在這個基礎上。

這四個條件同時到位,打開了一扇以前不存在的窗。我不想等別人先走過去。


接下來

每一個專案都在持續往 production-ready 的方向推進。Plexus-Myelin 的 hybrid handshake 要做完整的效能調校。AI-HIL MCP 要支援更多硬體平台。Engram 要能跑更多種類的模型。Synapse Labs 要做場域驗證。OmniTypist 要繼續打磨使用體驗。

我不覺得這件事該一個人做完。如果你也相信——邊緣智能,而不是只有雲端 AI——如果你也想讓每一台邊緣裝置都成為有智能的一等公民,而不是雲端的附屬品,那我們應該聊聊。

最終的目標很簡單:讓每一台邊緣裝置都是一等智能公民,不是往雲端丟資料的笨管道。

這是我的宣言。現在,回去寫 code。


Comments & Feedback