《Engineering Applications of Artificial Intelligence》：Blinking like Fireflies: Convolutional neural networks for bio-inspired visible light communication between nano-drones
編輯推薦：
納米無人機群通過LED閃爍實現低功耗可見光通信，采用全卷積神經網絡（FCNN）解碼LED狀態并定位發送方，在GAP8 SoC上以101毫瓦功耗達到93%的通信準確率，支持2.8-8.6比特/秒吞吐量。
盧卡·克魯皮（Luca Crupi）|尼古拉斯·卡洛蒂（Nicholas Carlotti）|亞歷山德羅·朱斯蒂（Alessandro Giusti）|達尼埃萊·帕洛西（Daniele Palossi）
瑞士盧加諾Dalle Molle人工智能研究所（SUPSI）
摘要
我們提出了一種新型的可見光通信（VLC）系統，該系統使一群口袋大小的納米無人機能夠通過發光二極管（LED）的閃爍來交換信息，就像螢火蟲一樣。當納米無人機通過LED閃爍發送信息時，接收器僅使用低分辨率攝像頭和一個超低功耗的GreenWaves應用處理器8（GAP8）片上系統，運行一個緊湊型（7500參數）的全卷積神經網絡（FCNN），實現了0.87的曲線下面積（比之前的納米無人機VLC工作提高了0.27），并可以預測LED的狀態和發送納米無人機的圖像位置。然后，LED狀態（開/關）的流被連續輸入到一個無需同步的解碼器中，該解碼器也安裝在納米無人機上。我們的方法僅利用了廉價的機載硬件（攝像頭和LED），就能夠與為大型無人機設計的先進VLC方法相媲美，同時功耗降低了幾個數量級（10毫瓦，而之前的系統功耗超過25瓦）。通過使用一對Crazyflie納米無人機，我們的FCNN可以達到每秒39幀的傳輸速率，從而實現每秒2.8到8.6比特的吞吐量，每比特準確率為93％；或者每秒0.6到1.6比特的吞吐量，每比特準確率為99.8％。最后，我們的閉環系統已在實地進行了實驗驗證，其中兩個完全自主的納米無人機通過我們的VLC技術交換信息，并且能夠根據預測的圖像位置相互跟隨。
引言
自主無人機群非常適合需要可擴展性、適應性和效率的應用（Alqudsi和Makaraci，2025年）。通過協作，這些無人機可以快速覆蓋大面積區域，并執行復雜的任務，如搜索和救援任務（Meshcheryakov等人，2019年）、環境監測（Saffre等人，2024年）以及農業調查（Rajagopal等人，2024年）。在狹小空間和安全的人機交互方面（Crupi等人，2023年），直徑小于10厘米、重量低于50克的微型自主無人機由于其無害的超緊湊外形而具有顯著優勢（Lamberti等人，2023年）。雖然納米無人機的價格比大型多旋翼無人機便宜一個數量級，但它們的微小尺寸限制了機載資源，如傳感器（例如低分辨率攝像頭）、計算能力（例如低于100毫瓦的微控制器單元（MCU）和內存（僅幾十MB）。盡管存在這些限制，當納米無人機以群體形式運行時（Wahba和H?nig，2024年；Friess等人，2024年），可靠的點對點通信和相互定位對于實現有效協作至關重要（Pourjabar等人，2023年）。
受到生物現象的啟發，例如螢火蟲的生物發光（Carlson和Copeland，1985年）、貓的頭部運動（Deputte等人，2021年）、蜜蜂的運動（Gould，1974年）以及大象的身體信號傳遞（Rosenthal和Ryan，2000年），我們提出了一種基于深度學習、無需基礎設施的可見光通信（VLC）系統，用于低帶寬信息交換。我們將這種通用的VLC系統應用于一對資源受限的納米無人機上，其中發送者無人機通過閃爍LED來廣播信息，如圖1-A所示。同時，接收者無人機配備了一個低分辨率攝像頭（圖1-B）和一個超低功耗的GWT GAP8片上系統（SoC），處理每張輸入圖像以預測LED的狀態（開/關）。這種處理由一個小型全卷積神經網絡（FCNN）完成（Crupi等人，2024年），產生的狀態序列被連續輸入到一個無需同步的解碼器中。FCNN和解碼器在納米無人機上的GAP8上實時交替執行。
給定一個輸入圖像，我們的FCNN生成兩個低分辨率（20 × 20像素）的輸出映射。第一個映射編碼輸入圖像中包含納米無人機的概率，第二個映射中的相應像素編碼無人機LED處于開啟狀態的概率。我們提出了兩種不同的FCNN架構，即FCNN-small和FCNN-large，并評估了它們在回歸性能與計算/內存成本之間的權衡。我們的解碼器根據自定義協議處理LED狀態預測的時間序列，可靠地識別消息的頭部（即新消息的開始）以及我們想要交換的實際數據（即有效載荷）。因此，在這項工作中，我們貢獻了：（i）兩種FCNN的設計、訓練、測試和評估；（ii）一個包含基于神經網絡的感知模塊和我們的VLC解碼器的閉環流程的實現，兩者都在GAP8 SoC上運行；（iii）在實際數據和系統參數設計（例如LED閃爍周期）上的接收者操作特性曲線下面積（AUC）與吞吐量之間的權衡；（iv）使用兩個自主納米無人機進行的現場實驗評估（如補充視頻所示）。
在我們的自定義30k測試集上進行測試時，我們的模型在二進制LED分類任務中實現了0.87的AUC。它可以在GAP8 SoC上以僅101毫瓦的功耗運行，吞吐量從每秒2.8到8.6比特，每比特準確率為93％；或者每秒0.6到1.6比特，每比特準確率為99.8％。與現有的納米無人機VLC技術（Ciani等人，2023年）相比，我們的工作在AUC二進制分類性能上提高了27％，在神經網絡吞吐量上提高了30％。最終，我們的工作僅依賴于超低功耗的計算單元，并使用機器人上常見的電子設備（如廉價攝像頭和LED），實現了可靠的VLC。我們的系統代表了一種新的通信方式，可以補充現有的通信方式（如WiFi/藍牙無線電），可用于實現復雜的應用（例如雙因素認證（Wang和Wang，2018年），并在無線電通道不可用時作為低帶寬的緊急通信通道。
章節摘錄
可見光通信
可見光通信（VLC）是一種利用可見光譜作為媒介的設備間通信技術（Teixeira等人，2022年）。發送設備對數據包進行編碼并通過發射調制光信號來傳輸，接收設備通過光電二極管（Vu?i?等人，2011年；Vu?i?等人，2009年）或攝像頭（Yoshino等人，2008年）捕獲這些信號。VLC允許無線短距離視距通信，通常可以通過廉價設備實現
機器人平臺
在這項工作中，我們使用了兩個Crazyflie 2.1納米無人機，如圖2所示，其中一個作為接收器，另一個作為發送器，如圖1-A所示。該平臺配備了STM32F4微控制器，用于低級飛行控制，以及四個LED，我們將其用作VLC任務的發射器（全部LED均處于開/關狀態）。此外，納米無人機還配備了Nordic NRF51微控制器，負責系統的電源管理，并提供了藍牙低能耗（BTLE）無線電，用于與遠程設備進行低帶寬通信
全卷積神經網絡
為了開發視覺通信流程，我們使用LED作為發送器（發送無人機），并在接收無人機中通過處理由機載攝像頭捕獲的圖像來解碼這些信號。在接收納米無人機上，我們執行一個全卷積神經網絡（FCNN）（Crupi等人，2024年），從圖像流中提取LED的狀態（全部開/關）。為了正確分類圖像中的LED狀態，首先需要確定發送納米無人機在攝像頭視野中的位置。圖3展示了我們的
LED狀態分類和消息吞吐量
我們使用AUC來評估我們的FCNN的LED狀態分類性能，測試數據集包含30k個樣本。AUC的范圍是從0.5到1，其中1表示完美的預測器，而0.5表示隨機分類器。我們評估了FCNN-large和FCNN-small的性能，分別使用了重心提取和argmax提取方法，并將它們與Ciani等人（2023年）提出的SoA CNN基線進行了比較
結論
本文介紹了一種新型的VLC系統，該系統僅通過低分辨率攝像頭為FCNN提供輸入，利用LED的閃爍實現自主納米無人機之間的可靠短距離和低帶寬信息交換。在評估了兩種基于圖像的FCNN在LED開/關狀態分類性能后，我們將較小的FCNN部署在一個商用納米無人機上，該無人機配備了GWT GAP8 SoC。LED狀態預測結果隨后被輸入到一個無需同步的糾錯解碼器中
CRediT作者貢獻聲明
盧卡·克魯皮（Luca Crupi）：撰寫 – 審稿與編輯，撰寫 – 原始草稿，可視化，驗證，軟件，資源，方法論，概念化。尼古拉斯·卡洛蒂（Nicholas Carlotti）：撰寫 – 審稿與編輯，撰寫 – 原始草稿。亞歷山德羅·朱斯蒂（Alessandro Giusti）：撰寫 – 審稿與編輯，撰寫 – 原始草稿，監督，軟件，項目管理，方法論，資金獲取，概念化。達尼埃萊·帕洛西（Daniele Palossi）：撰寫 – 審稿與編輯，撰寫 – 原始草稿，
利益沖突聲明
作者聲明他們沒有已知的可能會影響本文所述工作的競爭性財務利益或個人關系。
