動(dòng)物行為的精細(xì)化追蹤與分析對(duì)于神經(jīng)科學(xué)、行為學(xué)和生物醫(yī)學(xué)領(lǐng)域至關(guān)重要。然而，當(dāng)前主流的深度學(xué)習(xí)姿態(tài)估計(jì)方法在面對(duì)多動(dòng)物交互和長(zhǎng)時(shí)程追蹤場(chǎng)景時(shí)，往往受到關(guān)鍵點(diǎn)漂移問題的困擾，影響行為量化的準(zhǔn)確性與數(shù)據(jù)的穩(wěn)定性。
近日，中國(guó)科學(xué)院深圳先進(jìn)技術(shù)研究院（簡(jiǎn)稱“深圳先進(jìn)院”）腦認(rèn)知與腦疾病研究所/深港腦科學(xué)創(chuàng)新研究院蔚鵬飛研究員團(tuán)隊(duì)在國(guó)際學(xué)術(shù)期刊eLife發(fā)表了題為“Anti-drift pose tracker (ADPT):A transformer-based network for robust animal pose estimation across species”的研究論文。研究團(tuán)隊(duì)提出了一種基于Transformer架構(gòu)的抗漂移姿態(tài)追蹤技術(shù)（ADPT），成功實(shí)現(xiàn)跨物種動(dòng)物姿態(tài)追蹤的高精度、高魯棒性檢測(cè)。
ADPT融合了卷積神經(jīng)網(wǎng)絡(luò)（CNN）與Transformer結(jié)構(gòu)的優(yōu)勢(shì)，一方面利用CNN提取圖像的局部精細(xì)特征，另一方面通過Transformer有效捕捉身體各部位之間的全局依賴關(guān)系，顯著降低了關(guān)鍵點(diǎn)的漂移現(xiàn)象（圖1）。與DeepLabCut、SLEAP等現(xiàn)有方法的對(duì)比測(cè)試顯示，ADPT在復(fù)雜的多動(dòng)物交互和長(zhǎng)時(shí)程行為追蹤任務(wù)中具有明顯的精度與穩(wěn)定性優(yōu)勢(shì)。
研究團(tuán)隊(duì)對(duì)多物種（包括小鼠、食蟹猴等）的行為視頻數(shù)據(jù)集進(jìn)行了深入評(píng)估。在小鼠數(shù)據(jù)集中，ADPT有效解決了傳統(tǒng)方法難以準(zhǔn)確檢測(cè)的尾尖等細(xì)微部位追蹤問題，總體檢測(cè)精度較DeepLabCut與SLEAP方法提高超過8.6%，平均均方根誤差（RMSE）降至7.19 ± 0.58像素，表現(xiàn)出顯著優(yōu)勢(shì)(圖2左)。在食蟹猴行為數(shù)據(jù)集中，ADPT在復(fù)雜環(huán)境干擾下依舊成功實(shí)現(xiàn)靈長(zhǎng)類動(dòng)物的姿態(tài)穩(wěn)定追蹤。特別是在存在人類干擾的場(chǎng)景中，其他方法容易誤將人類識(shí)別為目標(biāo)動(dòng)物，而ADPT表現(xiàn)出對(duì)跨物種干擾的優(yōu)秀抵抗能力，確保了追蹤精度與可靠性(圖2右)。
同時(shí)，研究團(tuán)隊(duì)還利用公開的果蠅（Single fly）、獼猴（OMS_dataset）和狨猴（Marmoset）數(shù)據(jù)集進(jìn)一步驗(yàn)證了ADPT的泛化性能，結(jié)果再次證實(shí)了ADPT跨物種姿態(tài)估計(jì)的適應(yīng)能力。
在多動(dòng)物自由社交行為的場(chǎng)景中，ADPT更展現(xiàn)了其“身份-姿態(tài)”同步精準(zhǔn)追蹤的突出優(yōu)勢(shì)。團(tuán)隊(duì)發(fā)現(xiàn)，ADPT在不進(jìn)行任何時(shí)序后處理的情況下，即可達(dá)到90.36%的身份追蹤準(zhǔn)確率；若結(jié)合簡(jiǎn)單時(shí)序校正，這一準(zhǔn)確率進(jìn)一步提高至99.72%，明顯優(yōu)于現(xiàn)有的多動(dòng)物姿態(tài)追蹤工具。此外，在團(tuán)隊(duì)自建的Homecage小鼠社交數(shù)據(jù)集中，ADPT不僅身份追蹤效果顯著優(yōu)于DeepLabCut和SLEAP（準(zhǔn)確率提高約5-10倍，身份互換現(xiàn)象顯著減少），姿態(tài)估計(jì)精度也提高了約15%（圖3）。
為進(jìn)一步推動(dòng)ADPT技術(shù)的應(yīng)用落地，研究團(tuán)隊(duì)開發(fā)了簡(jiǎn)單易用的ADPT工具箱，能夠讓缺乏深度學(xué)習(xí)背景的生物學(xué)研究人員輕松使用，極大地降低了姿態(tài)追蹤技術(shù)的應(yīng)用門檻。
本研究為動(dòng)物行為學(xué)、神經(jīng)疾病與社會(huì)互動(dòng)機(jī)制研究提供了強(qiáng)大的技術(shù)支持，有望推動(dòng)神經(jīng)科學(xué)與行為學(xué)的交叉研究進(jìn)入新的階段。
深圳先進(jìn)院蔚鵬飛研究員為本文最后通訊作者，南方科技大學(xué)劉泉影助理教授為共同通訊作者，深圳先進(jìn)院腦所研究助理唐國(guó)令、博士生韓亞寧為本文共同第一作者。該研究還得到了暨南大學(xué)李曉江教授、閆森教授團(tuán)隊(duì)的大力支持。該項(xiàng)目主要受到國(guó)家自然科學(xué)基金-青年科學(xué)基金項(xiàng)目（B類）、國(guó)家自然科學(xué)基金外國(guó)學(xué)者研究基金項(xiàng)目、科技部“腦科學(xué)與類腦研究”國(guó)家科技重大專項(xiàng)以及深圳市科技創(chuàng)新計(jì)劃等項(xiàng)目資助。
圖1 ADPT工作流程和網(wǎng)絡(luò)結(jié)構(gòu)圖
圖2 ADPT實(shí)現(xiàn)高精度、高魯棒性單動(dòng)物姿態(tài)估計(jì)
圖3 ADPT實(shí)現(xiàn)多動(dòng)物社交場(chǎng)景下精確身份-姿態(tài)同步追蹤
附件下載：