研究可靠性在科學討論中日益成為一個關鍵話題。在我們最近的文章中(Lin等人,2024年,表1),我們指出了心理學(36%,開放科學合作組織,2015年,“抽樣框架和研究選擇”部分第1段)、社會科學(62%,Camerer等人,2018年,第639-640頁)、生物醫學(42%,Errington等人,2021年,表1)以及經濟學(61%,Camerer等人,2016年,第1頁)領域中重復實驗的成功率較低,這表明人們對研究可靠性存在普遍擔憂。為了提高研究結果的可靠性,已經提出了多種方法,例如確保報告的透明度(Halperin等人,2018年,“科學透明度不足”部分)、通過承認所有結果都具有不確定性來減少選擇性報告(Amrhein等人,2019年,第3部分第5段)、遵循精確的引用規范(Lin & Hung,2022年),以及增加樣本量(Schweizer & Furley,2016年)。其中,以注冊報告格式發表研究被認為是一種特別有前景的方法。
目前形式的注冊報告,如開放科學框架所規定的(
https://www.cos.io/initiatives/registered-reports ),需要滿足兩個基本標準:(1)第一階段的注冊報告,包括引言和方法部分,需經過同行評審;(2)一旦第一階段報告獲得批準,該研究必須獲得學術期刊的原則性接受。第一個標準,即在研究開始前進行同行評審,使作者能夠完善他們的方法論并識別在制定研究問題時可能存在的問題。此外,通過在結果已知之前評估研究質量,可以防止對積極研究結果的偏見(Mahoney,1977年,表1)。
注冊報告格式的另一個標準——原則性接受,對于提高研究完整性尤為重要。只有當研究遵循批準的第一階段報告時才保證發表,這一標準減少了研究人員為了獲得積極結果或構建聳人聽聞的結論而采取可疑做法的動機(Amrhein等人,2019年;Chambers等人,2015年,第2段)。這種方法解決了Fanelli(2012年,結果部分)指出的一個關鍵問題,即許多統計上不顯著的研究結果往往未被報告。此外,注冊報告格式要求在第一階段報告中公開研究方案,迫使作者透明地報告任何與初始計劃的偏差。在注冊報告格式中公開研究方案可以防止對統計分析的操縱。雖然它不能直接防止這種操縱,但它通過允許他人審查方法論來提高透明度。這使得將最終發表的文章與原始方案進行比較成為可能。例如,有人建議注冊報告有助于區分探索性/事后分析和確認性/前瞻性分析(Chambers & Tzavella,2022年,“高質量注冊報告的七個優點”最后一段)。
實證研究表明,與傳統報告相比,注冊報告的質量更高。Soderberg等人(2021年)在心理學和神經科學領域找到了之前的注冊報告,然后從傳統出版物中選擇了匹配的文章。在對這些文章進行編碼后,他們將注冊報告和匹配的文章發送給其他研究人員進行評審(Soderberg等人,2021年,摘要)。研究結果突出了注冊報告的三個關鍵特征:首先,平均而言,注冊報告的研究質量被認為高于傳統發表的研究(Soderberg等人,2021年,圖1);其次,注冊報告的發表格式不會削弱研究的創造性(Soderberg等人,2021年,圖1);第三,與傳統發表的報告相比,注冊報告的積極結果率較低(Scheel等人,2021年,圖2)。這些發現表明傳統出版物中積極結果的比例過高,特別是在運動和運動科學等特定領域,需要進一步調查。
因此,本研究基于Fanelli(2012年)和Scheel等人(2021年)的方法論,并對其方法進行了調整,以更好地適應運動和運動科學領域。除了應用他們的示范方法外,我們還解決了他們開創性工作中存在的三個局限性。我們研究與Scheel等人工作的第一個顯著區別在于用于識別相關注冊報告的方法。在他們有影響力的工作中(Scheel等人,2021年,圖1),Scheel等人利用開放科學中心來查找心理學領域的注冊報告。然而,一些期刊,如《運動與鍛煉心理學》(PSE),因將第一階段注冊報告作為獨立文章發表而值得稱贊(例如,McNeill等人,2020年),從而鼓勵了這種類型的提交。在這種情況下,將第一階段報告提交給開放科學中心(開放科學框架)可能是可選的,這可能導致這些報告在數據庫搜索中被遺漏。需要注意的是,期刊正式采用注冊報告格式并不能保證有大量或任何使用這種格式發表的文章。為了解決這一限制和知識空白,我們采用了類似于標準系統評價的方法。這使我們能夠識別盡可能多的符合條件的研究,并追溯到它們發表的期刊。
第二個區別在于我們的抽樣方法。盡管Scheel等人選擇了2013-2018年間心理學領域的隨機樣本,但他們沒有將傳統研究的數量設置為與注冊報告的數量成比例。考慮到對零結果的接受率可能會隨時間變化,我們認為使用基于每年識別出的注冊報告比例的分層隨機選擇方法,可以在這兩種出版格式之間進行更公平的比較。第三個差異在于假設分析的范圍。Scheel等人僅專注于檢查他們選定文章中提出的第一個假設,而我們的方法不僅遵循這一慣例,還進一步擴展了它,匯編了每篇文章中的所有假設。這種包容性的方法確保了提出多個假設的情況得到充分捕捉和分析,可能會產生更全面的見解。
關于樣本量的確定,我們的方法與Twomey等人(2021年)在運動學領域使用的方法不同。Twomey及其同事從三個選定的期刊中各抽取了100篇文章(Twomey等人,2021年,第2-a段),預計其中60%的文章會包含假設檢驗(Twomey等人,2021年,第2-d段)。然而,他們發現不同期刊中假設檢驗的普及率在46%到74%之間(Twomey等人,2021年,第2-b-iii段)。相比之下,我們的研究旨在根據文章的發表年份和期刊來抽取樣本。為了確保有足夠的樣本進行比較,我們計劃按照指定的隨機順序繼續篩選,直到找到100篇包含假設檢驗的文章。更多細節請參見方法部分。
根據Scheel等人的結果,本研究需要至少包含8到10篇注冊報告,以便對100篇傳統文章進行有意義的統計推斷(詳見方法部分中的樣本量理由)。然而,本研究在因果推斷方面面臨一個根本性的限制,這不能僅通過增加樣本量來解決。在運動和運動科學等經常包含實證研究的領域,發表注冊報告的文章及其被歸類為注冊報告的文章只占所有研究的一小部分(Lin等人,2024年,圖1和附錄3)。因此,注冊報告與傳統文章之間的任何觀察到的特征差異——例如注冊報告通常設計更好——不能直接歸因于出版格式。很可能選擇采用注冊報告格式的作者更重視研究方法論。通過采用注冊報告提高研究質量以及作者傾向于重視嚴謹的研究設計這兩個因素可能是真實的;然而,這些因素的程度和影響在本研究中無法評估,因為本研究僅提供了關聯數據。
本研究旨在(1)量化與運動和運動科學相關的已發表注冊報告的數量,(2)評估其中有多少使用了假設檢驗,(3)比較使用假設檢驗的注冊報告與傳統出版物中積極結果的比例。我們假設運動和運動科學領域注冊報告中的積極結果率低于傳統發表的研究。