《Smart Agricultural Technology》:SDE-DET: A Precision Network for Shatian Pomelo Detection in Complex Orchard Environments
編輯推薦:
為應(yīng)對復(fù)雜果園環(huán)境下沙田柚檢測面臨的多尺度、枝葉遮擋、小目標識別等挑戰(zhàn),研究人員基于YOLOv8n模型提出SDE-DET檢測網(wǎng)絡(luò),通過引入Star Block、Deformable Attention和EMA機制,在STP-AgriData數(shù)據(jù)集上取得了0.838的mAP@0.5和0.823的F1分數(shù),為自動化采摘機器人開發(fā)提供了關(guān)鍵技術(shù)支撐。
在廣闊的果園中,如何讓機器人像經(jīng)驗豐富的果農(nóng)一樣,準確地找到并定位每一顆成熟的沙田柚,是實現(xiàn)水果自動化采摘、提升農(nóng)業(yè)現(xiàn)代化水平的關(guān)鍵一步。然而,這并非易事。沙田柚個頭大、重量沉,傳統(tǒng)的人工采摘方式費時費力,尤其在規(guī)模化種植園中,效率瓶頸尤為突出。更棘手的是,果園環(huán)境復(fù)雜多變:遠處的柚子看起來很小(多尺度問題),近處的又可能被茂密的枝葉遮擋得嚴嚴實實;果實的顏色、紋理與樹干、樹葉頗為相似,讓機器“眼花繚亂”;而距離攝像頭較遠的柚子,在圖像中只剩下寥寥像素,特征信息嚴重丟失(小目標檢測難題)。這些挑戰(zhàn)使得現(xiàn)有的通用目標檢測模型在沙田柚檢測任務(wù)上表現(xiàn)不盡如人意。為了解決這一系列難題,來自海南大學(xué)的研究團隊決心為沙田柚量身打造一款“火眼金睛”。他們的研究成果《SDE-DET: A Precision Network for Shatian Pomelo Detection in Complex Orchard Environments》發(fā)表在了《Smart Agricultural Technology》期刊上。
為了開展這項研究,研究人員主要運用了以下幾項關(guān)鍵技術(shù)方法:首先,他們構(gòu)建了首個專門針對沙田柚的混合數(shù)據(jù)集STP-AgriData,其中既包含在江西太平山村實地采集的果園圖像,也整合了來自公開網(wǎng)絡(luò)資源的圖片,共計317張原始圖像,并通過亮度調(diào)整、對比度調(diào)整、去噪、灰度變換、水平翻轉(zhuǎn)和垂直翻轉(zhuǎn)等六種數(shù)據(jù)增強手段將訓(xùn)練集擴充至1330張。其次,他們以輕量級模型YOLOv8n為基線,進行了三項核心改進:在模型早期引入Star Block以在不過度增加計算開銷的前提下有效獲取并保留高維特征信息;在骨干網(wǎng)絡(luò)中加入Deformable Attention(可變形注意力)模塊,使其能夠動態(tài)調(diào)整感受野,更好地關(guān)注被遮擋的柚果區(qū)域;在頸部網(wǎng)絡(luò)集成多個EMA(Efficient Multi-Scale Attention,高效多尺度注意力)機制,以降低計算開銷并提取深層視覺表征,從而提升對小尺寸柚子的檢測能力。整個模型在Linux系統(tǒng)下,使用PyTorch框架,在NVIDIA GeForce GTX 4090 GPU上進行訓(xùn)練和評估。
研究結(jié)果
4.3. 對比實驗
研究人員將提出的SDE-DET模型與YOLO系列及其他主流檢測模型進行了全面對比。實驗結(jié)果顯示,在STP-AgriData數(shù)據(jù)集上,SDE-DET在精確率(Precision)、召回率(Recall)、mAP@0.5、mAP@0.5:0.95和F1分數(shù)上分別達到了0.883、0.771、0.838、0.497和0.823,均優(yōu)于對比模型。例如,其mAP@0.5比基線YOLOv8n提升了5.1%,比YOLOv9c提升了3.4%,比最新的YOLOv10n提升了7.3%。與Faster R-CNN、CenterNet、RT-DETR等其他主流模型相比,SDE-DET在保持參數(shù)量僅3.29M、計算量32.4 GFLOPs的輕量化優(yōu)勢下,檢測精度顯著領(lǐng)先,證明了其在沙田柚檢測任務(wù)上卓越的準確性和效率。
4.4. 消融實驗
通過系統(tǒng)的消融實驗,驗證了模型中三個關(guān)鍵改進模塊的有效性。實驗從原始YOLOv8n(模型0)開始,逐步添加Deformable Attention(模型1)、Star Block(模型2)和EMA機制(模型3,即完整的SDE-DET)。結(jié)果顯示,每一項改進都對性能有正向貢獻。最終的SDE-DET模型相較于基線,在精確率、召回率、mAP@0.5、mAP@0.5:0.95和F1分數(shù)上分別提升了2.1%、7.7%、5.1%、3.9%和5.0%。訓(xùn)練曲線也表明,SDE-DET在100輪訓(xùn)練中性能持續(xù)穩(wěn)定提升,未出現(xiàn)明顯過擬合,展現(xiàn)了強大的學(xué)習(xí)能力和泛化能力。
4.5. 網(wǎng)絡(luò)性能可視化
通過檢測結(jié)果的可視化對比和Grad-CAM(梯度加權(quán)類激活映射)熱力圖分析,直觀展示了SDE-DET的優(yōu)越性。與YOLOv8n相比,SDE-DET能夠更準確地檢測出圖像角落的小尺寸沙田柚,在強光照、果實顏色與背景相似(如樹葉)、果實密集分布等復(fù)雜場景下,誤檢和漏檢的情況顯著減少。Grad-CAM熱力圖顯示,SDE-DET能夠更精準地將高置信度區(qū)域(圖中紅色部分)聚焦在沙田柚本體上,有效抑制了對背景干擾物的關(guān)注,證明了模型特征提取和定位的準確性。
結(jié)論與討論
本研究成功構(gòu)建了沙田柚檢測數(shù)據(jù)集STP-AgriData,并提出了一種新穎的檢測網(wǎng)絡(luò)SDE-DET。該模型通過整合Star Block、Deformable Attention和EMA機制,有效解決了復(fù)雜果園環(huán)境中沙田柚檢測所面臨的多尺度、遮擋和小目標難題。實驗證明,SDE-DET在檢測精度和效率上均達到了領(lǐng)先水平,且模型輕量化(僅6.69 MB),非常適合部署于資源受限的嵌入式系統(tǒng),為自動化收獲機器人的實際應(yīng)用奠定了堅實基礎(chǔ)。
盡管取得了顯著成果,研究團隊也指出,誤檢和漏檢問題尚未完全解決。未來的工作將集中于收集更多樣化的訓(xùn)練數(shù)據(jù)以提升模型泛化能力,并探索引入更先進的技術(shù)如強化學(xué)習(xí)或自監(jiān)督學(xué)習(xí)來進一步增強模型的魯棒性和適應(yīng)性。此外,團隊計劃將研究拓展至其他水果的檢測,并開發(fā)覆蓋自動采摘、果實分級和產(chǎn)量預(yù)測的全流程智能化系統(tǒng),為農(nóng)民提供數(shù)據(jù)驅(qū)動的生產(chǎn)工具,推動可持續(xù)農(nóng)業(yè)和農(nóng)業(yè)生產(chǎn)效率的提升。
綜上所述,這項研究不僅為沙田柚的精準檢測提供了可靠的理論模型和解決方案,也為智慧農(nóng)業(yè)領(lǐng)域的果實檢測與自動化收獲技術(shù)發(fā)展提供了重要的技術(shù)參考和實踐方向。