用于 MQTT 共享訂閱的非侵入式內核級調度機制
《Future Generation Computer Systems》：Non-Intrusive Kernel-level Dispatching for MQTT Shared Subscriptions
【字體：
大
中
小
】
時間：2026年03月03日
來源：Future Generation Computer Systems 6.2
編輯推薦：
邊緣計算環境中基于eBPF的MQTT 5.0共享訂閱動態調度機制研究。針對現有MQTT代理靜態負載均衡無法適應異構資源和動態工作負載的問題，提出NIKD框架，通過內核級eBPF攔截器實現非侵入式動態調度，實驗證明NIKD_LOR策略可將任務完成時間降低超20%。
邱毅修|廖春峰
國立成功大學計算機科學系
摘要
邊緣計算環境由分布式的、資源受限的網絡和邊緣服務器組成，這些網絡和服務器協同處理來自傳感器的實時數據流。為了支持此類環境中的通信，MQTT因其輕量級設計和靈活的基于主題的發布/訂閱模型而成為廣泛采用的協議。MQTT 5.0通過引入共享訂閱功能進一步擴展了這一模型，允許多個訂閱者共同消費消息并實現隱式負載均衡。然而，現有的MQTT代理依賴于靜態的工作負載調度策略，這無法滿足資源異構和負載高度可變動態環境的需求。為了解決這些限制，本文提出了一種名為NIKD（非侵入式內核級調度）的基于eBPF的框架，該框架將工作負載調度邏輯與代理分離，實現了MQTT共享訂閱的動態實時調度。我們展示了NIKD_LOR的概念驗證原型，該原型實現了基于每個訂閱者待處理請求數量的最小未完成請求（LOR）策略來路由消息。實驗結果表明，與基于靜態算法的本地代理調度策略相比，NIKD_LOR提高了工作負載的公平性和系統響應性，平均任務完成時間減少了20%以上，同時開銷仍在可接受范圍內。
引言
隨著物聯網（IoT）技術的不斷發展，越來越多的IoT設備產生了大量數據流[1]。由于這些設備通常資源受限，處理這些數據需要計算卸載[2]。然而，傳統的云計算模型存在高延遲和帶寬成本的問題，不適合IoT應用。這一挑戰推動了邊緣計算的出現，邊緣計算通過將計算任務卸載到更接近IoT設備的邊緣節點上來提供有前景的解決方案。這種方法實現了更快的數據處理并顯著降低了響應時間[3]。
為了促進邊緣計算場景中的高效通信，消息隊列遙測傳輸（MQTT）協議[4]因其輕量級設計和靈活的發布/訂閱模型而成為標準協議，該協議通過代理[5]有效地將數據源（IoT設備）與數據處理器（邊緣服務器）分離。在典型的邊緣計算場景中，工作負載分布在多個邊緣服務器上，以確保高可用性和響應性[6]、[7]。為了支持工作負載調度，MQTT 5.0引入了共享訂閱功能，允許多個訂閱者組成工作組并協同處理傳入的消息。
然而，現有的MQTT代理實現主要依賴于靜態工作負載調度策略，例如輪詢（RR）算法。這些策略不適用于設備能力高度異構且資源條件動態變化的邊緣環境。為了使MQTT代理能夠支持動態工作負載調度，必須收集相關實時信息并將其整合到調度控制決策中。由于調度邏輯位于代理內部，修改其行為變得不可避免。但是，由于代理的復雜性、高維護開銷和安全風險，直接修改源代碼是不切實際的。
一種更非侵入式的修改代理調度邏輯的方法是使用側車模式[8]。如圖1a所示，它在代理之前和之后引入外部組件來觀察和重定向代理流量，而不需要修改代理代碼。然而，將基于側車的控制應用于MQTT可能會產生額外的開銷，并使長期TCP會話的連接管理變得復雜。
為了解決修改MQTT調度邏輯的挑戰和限制，本文提出了一種稱為非侵入式內核級調度（NIKD）的新方法，該方法能夠以非侵入式的方式直接在內核級別集成交叉邏輯。所提出的方法基于擴展伯克利數據包過濾器（eBPF）[9]，這是一個強大的內核擴展框架，允許開發人員編寫自定義模塊（在本文中稱為“攔截器”），這些模塊可以在特定內核操作之前和之后動態插入邏輯，從而實時修改系統行為。如圖1b所示，由于交叉邏輯被移至內核級別（即攔截器），側車方法的連接維護和性能開銷問題得到了解決。為了證明NIKD的可行性，我們實現了NIKD_LOR，這是一個實現最小未完成請求調度算法的動態工作負載調度模塊。該實現對客戶端、代理和訂閱者都是完全透明的，確保了跨邊緣環境的兼容性。
本文的其余部分結構如下：第2節詳細介紹了MQTT 5.0的特性、靜態調度策略的局限性，并對基于側車和內核內攔截進行了比較分析。第3節描述了NIKD框架的詳細設計及NIKD_LOR的實現。第4節通過實驗評估了NIKD_LOR的性能。第6節對本文進行了討論和局限性分析。最后，第7節回顧了相關工作，第8節總結了我們的工作。
部分摘錄
背景
本節簡要回顧了與本研究相關的MQTT標準[4]的部分內容，然后探討了現有調度方法的局限性，這些局限性促使我們提出了解決方案。
設計
如第1節和第2節所討論的，大多數現有的MQTT實現僅支持靜態工作負載調度。為了解決這一限制，本文提出了NIKD，這是一個基于eBPF的內核級和非侵入式框架，可實現MQTT共享訂閱的動態工作負載調度。本節介紹了NIKD的設計。我們首先描述了其整體架構，然后通過NIKD_LOR案例研究展示了所提出方法的可行性和實際優勢。
實驗
我們在一個由多臺物理機器組成的受控局域網（LAN）測試平臺上進行了實驗。MQTT代理部署在運行Ubuntu 24.04.2 LTS的專用筆記本電腦上，配備了Intel i5-4278U處理器（4核）和8GB內存。代理使用開源的EMQX[16]實現，而提出的NIKD_LOR則是使用BCC（BPF編譯器集合）[17]開發的。所有發布者和訂閱者都部署在連接到代理的客戶端機器上
分析
上一節重點關注在不同系統條件下測量整體任務完成時間。結果表明，與本地策略相比，NIKD_LOR始終實現了更平衡的工作負載分配，從而提高了完成時間和整體節點吞吐量。然而，這種性能提升是以引入基于eBPF的模塊（包括實時共享訂閱跟蹤、請求/響應跟蹤等）為代價的
討論
在本節中，我們討論了所提出方法的假設、技術考慮因素和局限性。
相關工作
隨著物聯網設備數量的快速增長和對數據處理需求的增加，負載均衡在發布/訂閱系統中變得至關重要。由于發布/訂閱架構的解耦通信模型，負載均衡可以在系統的多個層級應用。一般來說，現有解決方案大致可以分為代理級和訂閱者級負載均衡。
結論
在這項工作中，我們解決了現有MQTT代理的局限性，這些代理僅依賴于靜態工作負載調度算法來處理共享訂閱，這無法滿足邊緣計算環境的需求。為此，我們提出了非侵入式內核級調度方法，該方法利用eBPF實現了直接在內核級別的動態、實時和非侵入式工作負載調度。通過實現NIKD_LOR作為概念驗證，我們證明了
寫作過程中生成式AI和AI輔助技術的聲明
聲明：在準備這項工作時，作者使用了ChatGPT來潤色手稿的語言。使用該工具/服務后，作者根據需要審閱和編輯了內容，并對發表文章的內容負全責。
CRediT作者貢獻聲明
邱毅修：撰寫——原始草稿，驗證，軟件，方法論，調查，形式分析，數據管理，概念化。廖春峰：撰寫——審閱與編輯，監督，項目管理，方法論，資金獲取，概念化。
利益沖突聲明
作者聲明以下可能的財務利益/個人關系可能被視為潛在的利益沖突：廖春峰報告稱獲得了臺灣國家科學技術委員會的財務支持。如果有其他作者，他們聲明沒有已知的財務利益或個人關系可能影響本文報告的工作。
生物通微信公眾號
生物通新浪微博
今日動態 |
人才市場 |
新技術專欄 |
中國科學人 |
云展臺 |
BioHot |
云講堂直播 |
會展中心 |
特價專欄 |
技術快訊 |
免費試用
版權所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯系信箱：
粵ICP備09063491號
