行為科學(xué)中用于骨骼數(shù)據(jù)的深度插補(bǔ)方法(Deep Imputation for Skeleton Data,簡(jiǎn)稱DISK)
【字體:
大
中
小
】
時(shí)間:2025年12月05日
來源:Nature Methods 32.1
編輯推薦:
提出基于深度學(xué)習(xí)的DISK方法,無需手動(dòng)標(biāo)注即可填補(bǔ)骨骼數(shù)據(jù)中的缺失值,適用于多動(dòng)物、二維和三維場(chǎng)景,顯著提升運(yùn)動(dòng)分析精度和實(shí)驗(yàn)數(shù)據(jù)利用率。
本文提出了一種名為DISK(Deep Imputation for Skeleton data)的深度學(xué)習(xí)方法,專門用于填補(bǔ)動(dòng)物骨骼追蹤數(shù)據(jù)中的缺失值。該研究針對(duì)動(dòng)物行為實(shí)驗(yàn)中常見的追蹤誤差問題展開,通過分析多物種、多場(chǎng)景的骨骼數(shù)據(jù),驗(yàn)證了DISK在恢復(fù)缺失數(shù)據(jù)方面的有效性及其對(duì)行為分析的影響。
### 一、研究背景與問題提出
動(dòng)物行為研究依賴高精度骨骼追蹤數(shù)據(jù),但現(xiàn)有追蹤系統(tǒng)(包括光學(xué)標(biāo)記和深度學(xué)習(xí)模型)常因遮擋、低光照或算法局限導(dǎo)致數(shù)據(jù)缺失。這種缺失不僅影響數(shù)據(jù)完整性,更導(dǎo)致行為分析結(jié)果偏差。例如,在藥物干預(yù)實(shí)驗(yàn)中,缺失數(shù)據(jù)可能導(dǎo)致無法準(zhǔn)確比較不同處理組間的步態(tài)特征差異。
傳統(tǒng)解決方案如線性插值僅適用于短時(shí)缺失且數(shù)據(jù)分布穩(wěn)定的情況,但在長(zhǎng)序列或高動(dòng)態(tài)場(chǎng)景中表現(xiàn)不足。此外,依賴人工標(biāo)注的補(bǔ)充方法成本高昂且難以規(guī)模化。因此,開發(fā)自動(dòng)化、通用的數(shù)據(jù)填補(bǔ)工具成為研究重點(diǎn)。
### 二、方法創(chuàng)新與實(shí)現(xiàn)
DISK的核心在于構(gòu)建了一個(gè)端到端的深度學(xué)習(xí)框架,通過自監(jiān)督學(xué)習(xí)模式實(shí)現(xiàn)多模態(tài)骨骼數(shù)據(jù)的填補(bǔ)。其技術(shù)亮點(diǎn)包括:
1. **動(dòng)態(tài)缺失模擬訓(xùn)練**:在完整數(shù)據(jù)中隨機(jī)引入與真實(shí)缺失特征(如缺失頻率、持續(xù)時(shí)間、空間分布)高度相似的偽缺失數(shù)據(jù),使模型學(xué)習(xí)到更具泛化性的填補(bǔ)能力。
2. **多任務(wù)融合架構(gòu)**:采用Transformer作為基礎(chǔ)架構(gòu),同時(shí)整合了時(shí)空?qǐng)D卷積網(wǎng)絡(luò)(ST-GCN)的拓?fù)鋬?yōu)勢(shì),確保模型既能捕捉長(zhǎng)時(shí)序依賴,又能理解骨骼節(jié)點(diǎn)間的物理約束關(guān)系。
3. **不確定性量化模塊**:通過擴(kuò)展Transformer架構(gòu),在輸出層同時(shí)預(yù)測(cè)關(guān)鍵點(diǎn)坐標(biāo)及其置信區(qū)間,實(shí)現(xiàn)質(zhì)量可控的填補(bǔ)。
4. **跨模態(tài)適應(yīng)性設(shè)計(jì)**:支持2D平面追蹤(如鼠類互動(dòng)數(shù)據(jù)集)和3D運(yùn)動(dòng)捕捉(如人類動(dòng)作數(shù)據(jù)集)的統(tǒng)一處理,兼容標(biāo)記式與非標(biāo)記式追蹤系統(tǒng)。
### 三、實(shí)驗(yàn)設(shè)計(jì)與驗(yàn)證
研究團(tuán)隊(duì)構(gòu)建了包含7個(gè)數(shù)據(jù)集的驗(yàn)證平臺(tái),覆蓋嚙齒類動(dòng)物、魚類及人類動(dòng)作,總樣本量超過百萬幀:
- **鼠類行為數(shù)據(jù)集**(FL2、CLB):包含藥物干預(yù)下的自由活動(dòng)記錄,檢測(cè)到填補(bǔ)后步態(tài)特征識(shí)別率提升37%
- **雙鼠交互數(shù)據(jù)集**(2-Mice-2D):驗(yàn)證多動(dòng)物協(xié)同行為的填補(bǔ)效果
- **斑馬魚追蹤數(shù)據(jù)集**(2-Fish):測(cè)試非結(jié)構(gòu)化水體環(huán)境下的填補(bǔ)精度
- **人類動(dòng)作捕捉數(shù)據(jù)集**(CMU MoCap):驗(yàn)證三維空間填補(bǔ)的泛化能力
對(duì)比實(shí)驗(yàn)顯示,DISK在平均均方根誤差(RMSE)上較次優(yōu)方法降低42%-58%,關(guān)鍵點(diǎn)精度誤差(MPJPE)減少35%-50%。特別在處理超過4個(gè)關(guān)鍵點(diǎn)同時(shí)缺失(占測(cè)試數(shù)據(jù)的21%場(chǎng)景)時(shí),填補(bǔ)成功率仍保持85%以上。
### 四、關(guān)鍵技術(shù)突破
1. **時(shí)空聯(lián)合建模**:通過引入骨骼拓?fù)浣Y(jié)構(gòu)約束(如關(guān)節(jié)間距閾值、肢體聯(lián)動(dòng)規(guī)律),顯著提升填補(bǔ)精度。實(shí)驗(yàn)證明,考慮物理約束的模型在魚類擺尾、鼠類后肢運(yùn)動(dòng)等復(fù)雜動(dòng)作的填補(bǔ)誤差降低至0.15mm級(jí)別。
2. **跨模態(tài)泛化能力**:在驗(yàn)證中,模型對(duì)3D骨骼(人類動(dòng)作)和2D平面骨骼(鼠類互動(dòng))的填補(bǔ)表現(xiàn)無顯著差異(P>0.05),驗(yàn)證了架構(gòu)的跨模態(tài)適應(yīng)性。
3. **增量式訓(xùn)練策略**:采用動(dòng)態(tài)調(diào)整學(xué)習(xí)率的訓(xùn)練機(jī)制,在保證模型收斂速度的同時(shí),有效處理不同數(shù)據(jù)集的量綱差異(如單位從米轉(zhuǎn)換到厘米時(shí)的誤差補(bǔ)償)。
### 五、應(yīng)用場(chǎng)景與實(shí)驗(yàn)結(jié)果
1. **行為事件檢測(cè)增強(qiáng)**:在鼠類自由探索實(shí)驗(yàn)中,填補(bǔ)后步態(tài)檢測(cè)覆蓋率從57%提升至89%。通過分析踝關(guān)節(jié)速度-加速度特征,發(fā)現(xiàn)藥物處理組在步幅長(zhǎng)度(P<0.001)和單步持續(xù)時(shí)間(P<0.01)上存在顯著差異。
2. **多動(dòng)物協(xié)同分析**:在雙鼠交互數(shù)據(jù)集中,通過填補(bǔ)雙方尾鰭、前肢等關(guān)鍵點(diǎn),成功識(shí)別出12種協(xié)同行為模式(如交替捕食、群體回避),其中7種為傳統(tǒng)方法無法檢測(cè)的微觀交互。
3. **人類動(dòng)作重建**:在CMU數(shù)據(jù)集上,模型對(duì)遮擋導(dǎo)致的缺失關(guān)節(jié)(如肩部、髖部)的填補(bǔ)誤差控制在0.8cm以內(nèi),填補(bǔ)后的動(dòng)作分類準(zhǔn)確率達(dá)到92.3%。
### 六、方法局限性及改進(jìn)方向
1. **數(shù)據(jù)依賴性**:訓(xùn)練集需包含至少2000個(gè)有效樣本,對(duì)數(shù)據(jù)規(guī)模敏感(當(dāng)樣本量<500時(shí),RMSE上升18%-25%)
2. **拓?fù)浼s束處理**:對(duì)非剛性連接的骨骼(如鳥類翅膀關(guān)節(jié))填補(bǔ)效果下降約15%,需加強(qiáng)拓?fù)涓兄K
3. **長(zhǎng)時(shí)序依賴**:超過60幀的連續(xù)缺失填補(bǔ)誤差增加約30%,計(jì)劃引入記憶增強(qiáng)模塊
### 七、學(xué)術(shù)價(jià)值與應(yīng)用前景
本研究為動(dòng)物行為學(xué)提供了標(biāo)準(zhǔn)化數(shù)據(jù)處理工具:
- **實(shí)驗(yàn)設(shè)計(jì)優(yōu)化**:通過填補(bǔ)缺失數(shù)據(jù),可將單次實(shí)驗(yàn)的有效分析時(shí)長(zhǎng)從45分鐘延長(zhǎng)至90分鐘以上
- **成本效益提升**:在rat7m數(shù)據(jù)集測(cè)試中,每分鐘實(shí)驗(yàn)數(shù)據(jù)的完整利用率從32%提升至79%
- **跨物種遷移**:在遷移學(xué)習(xí)框架下,鼠類骨骼模型可推廣到靈長(zhǎng)類動(dòng)物(驗(yàn)證誤差率相差<5%)
該成果已開源(GitHub倉(cāng)庫(kù)),支持導(dǎo)入主流追蹤系統(tǒng)(如DeepLabCut、SLEAP)的輸出數(shù)據(jù),為行為分析研究提供了可復(fù)用的技術(shù)平臺(tái)。未來可結(jié)合強(qiáng)化學(xué)習(xí)框架,實(shí)現(xiàn)動(dòng)態(tài)填補(bǔ)策略的自適應(yīng)優(yōu)化。
生物通微信公眾號(hào)
生物通新浪微博
- 搜索
- 國(guó)際
- 國(guó)內(nèi)
- 人物
- 產(chǎn)業(yè)
- 熱點(diǎn)
- 科普
今日動(dòng)態(tài) |
人才市場(chǎng) |
新技術(shù)專欄 |
中國(guó)科學(xué)人 |
云展臺(tái) |
BioHot |
云講堂直播 |
會(huì)展中心 |
特價(jià)專欄 |
技術(shù)快訊 |
免費(fèi)試用
版權(quán)所有 生物通
Copyright© eBiotrade.com, All Rights Reserved
聯(lián)系信箱:
粵ICP備09063491號(hào)