在全球蘋果產(chǎn)業(yè)蓬勃發(fā)展的當(dāng)下，一個揮之不去的“痛點”卻始終困擾著果農(nóng)與農(nóng)業(yè)現(xiàn)代化——采摘環(huán)節(jié)高度依賴人力。盡管蘋果產(chǎn)量和種植面積逐年攀升，但機械化自動化采收卻進展緩慢。這不僅限制了生產(chǎn)效率，也推高了運營成本。開發(fā)智能采摘機器人已成為行業(yè)共識，而視覺系統(tǒng)則是其“眼睛”。然而，真實果園環(huán)境復(fù)雜多變，現(xiàn)有的機器人往往難以準(zhǔn)確獲取蘋果在空間中的具體姿態(tài)角度，這直接導(dǎo)致機械手末端執(zhí)行器在抓取時頻繁誤碰枝條，造成果實損傷、枝干折斷，采摘成功率也大打折扣。

為了解決這一核心瓶頸，西北農(nóng)林科技大學(xué)陳春林等研究人員在《Artificial Intelligence in Agriculture》上發(fā)表了題為“Spatial pose estimation of apples for robotic harvesting”的研究論文。他們提出并驗證了一種創(chuàng)新的實時三維姿態(tài)角估計算法，旨在為蘋果采摘機器人提供精準(zhǔn)的“導(dǎo)航”信息，指導(dǎo)機械臂以更貼近果實的自然生長姿態(tài)進行抓取，從而提升成功率、降低損耗。這項研究為解決復(fù)雜果園環(huán)境下水果空間姿態(tài)估計的難題，邁出了關(guān)鍵一步，也為后續(xù)自適應(yīng)抓取算法的集成與應(yīng)用鋪平了道路。

為了開展這項研究，作者團隊主要運用了以下幾項關(guān)鍵技術(shù)方法：首先，在陜西延安黃陵縣等地的多個現(xiàn)代化果園，利用Intel? RealSense? D435深度相機和智能手機，采集了包含可見與不可見花萼（Calyx）的2620幅蘋果圖像，構(gòu)建了多樣化的數(shù)據(jù)集。其次，研究核心采用了YOLOv8-seg多任務(wù)模型，該模型集成了C2f模塊，能同時完成蘋果與花萼的目標(biāo)檢測以及蘋果的語義分割，為后續(xù)計算提供了果實輪廓掩膜圖。最后，研究提出并實施了兩種姿態(tài)角計算路徑：對于模型未識別到花萼的蘋果，基于分割掩膜圖，采用慣性矩（Moment of inertia）算法估算其姿態(tài)角（θ）；對于能識別花萼的蘋果，則利用表面中心坐標(biāo)和估算的蘋果最大橫徑推算出果芯空間位置，構(gòu)建“花萼-果芯向量”，再通過空間幾何分解，計算該向量與X″O″Y″平面和Y″O″Z″平面的夾角（α, β）。此外，研究還自主研發(fā)了一套蘋果姿態(tài)角驗證系統(tǒng)，用于果園實地驗證算法的準(zhǔn)確性。

YOLOv8-seg模型能夠在統(tǒng)一框架下執(zhí)行圖像分類、目標(biāo)檢測和語義分割。本研究利用該模型對蘋果輪廓進行多邊形標(biāo)注、對花萼區(qū)域進行矩形標(biāo)注，從而同時實現(xiàn)了果實分割、蘋果與花萼檢測，并獲得了果實軸信息、表面中心坐標(biāo)及花萼位置等關(guān)鍵空間參數(shù)。模型評估指標(biāo)包括精確率、召回率、準(zhǔn)確率和F1分數(shù)。

蘋果通常沿其果實軸生長。對于轉(zhuǎn)換為二值圖像的果實掩膜圖，其最小慣性矩對應(yīng)的主軸方向近似于果實軸的方向。通過建立數(shù)學(xué)模型，求解最小二階矩對應(yīng)的軸線參數(shù)，可以確定果實的主軸方向。通過計算蘋果圖像的慣性矩，確定了最大和最小慣性矩對應(yīng)的兩條主軸。該流程從原始圖像開始，經(jīng)過分割圖、果實掩膜圖，最終疊加顯示慣性矩主軸。

計算蘋果果實圖像的慣性矩后，兩條主軸與分割果實圖像邊緣的四個交點被確定為候選端點。為減少圖像邊界噪聲導(dǎo)致的深度值無效問題，算法對每個端點周圍進行迭代隨機采樣，獲取多個深度值，經(jīng)冒泡排序和中值濾波處理后，取平均深度作為有效值。然后通過視覺系統(tǒng)標(biāo)定，將像素坐標(biāo)系下的端點坐標(biāo)轉(zhuǎn)換到機器人基坐標(biāo)系下的空間坐標(biāo)，通過歐氏距離計算得到的最大軸長即為蘋果的最大橫徑。

果芯空間坐標(biāo)的估計對于計算“花萼-果芯”向量至關(guān)重要。已知蘋果表面中心坐標(biāo)A′和機器人基坐標(biāo)系原點，結(jié)合相機位置坐標(biāo)，可以計算出從相機指向蘋果表面中心的向量及其單位向量。根據(jù)已估算的最大橫徑D得到半徑R=D/2，最終推算出果芯A的空間坐標(biāo)。

為便于后續(xù)姿態(tài)角計算，基于相似三角形原理定義了與相機坐標(biāo)系對齊的果實坐標(biāo)系。蘋果姿態(tài)角被定義為：“花萼-果芯”向量與X″O″Y″平面的夾角α，以及同一向量與Y″O″Z″平面的夾角β。這兩個角度分別對應(yīng)機器人末端執(zhí)行器需要調(diào)整的俯仰（Pitch）和滾轉(zhuǎn)（Roll）角度，能夠直接輸入給機器人控制器。

果園田間試驗結(jié)果表明：該算法檢測蘋果和花萼的準(zhǔn)確率分別為0.953和0.703，果實分割準(zhǔn)確率為0.953。通過標(biāo)定誤差測試實驗，機械臂的空間定位誤差為12.1毫米。經(jīng)過多姿態(tài)、多距離測試，算法估算蘋果最大橫徑的絕對誤差為3.9毫米。利用自主研發(fā)的姿態(tài)角驗證系統(tǒng)進行的果園田間實驗顯示，對于未能識別花萼的蘋果，其姿態(tài)角的平均絕對誤差為16.3°；對于能識別花萼的蘋果姿態(tài)角，其平均絕對誤差分別為17.0°和18.1°。

本研究提出了一種解決復(fù)雜果園環(huán)境下蘋果空間姿態(tài)估計挑戰(zhàn)的新方法。該方法將深度學(xué)習(xí)（YOLOv8）與傳統(tǒng)圖像處理算法（慣性矩計算）相結(jié)合，針對花萼可見與不可見兩種情形，分別設(shè)計了基于向量幾何分解和慣性矩主軸的姿態(tài)角估算路徑。果園實地驗證表明，該算法在蘋果檢測、分割和橫徑估計上具有高準(zhǔn)確性，其姿態(tài)角估算精度與國際同類算法相當(dāng)。特別地，算法提供的空間姿態(tài)角度（α, β）是機器人控制器可直接理解和執(zhí)行的數(shù)學(xué)參數(shù)，這使得研究成果具備了高度的工程實用性。

本論文的核心貢獻在于，為解決非結(jié)構(gòu)化果園環(huán)境中蘋果空間姿態(tài)的實時、精確估計難題，提供了一個行之有效的算法框架。它不僅為后續(xù)蘋果采摘機器人的姿態(tài)抓取提供了關(guān)鍵的算法支撐，也為其他類似球形果實的機器人采收研究提供了可借鑒的思路。通過使機器人能夠“看清”并“理解”果實的空間朝向，本研究朝著實現(xiàn)高效、低損、全自主的智能果園采收邁出了堅實的一步。