近日，Nature上發(fā)表了一個(gè)評(píng)論，表明在Science和Nature雜志上，只有57-67%的文章是可以重復(fù)的，面對(duì)這個(gè)難題，作者提出了一些解決的方法。
2018年，我們踏上了評(píng)估巴西生物醫(yī)學(xué)研究論文可復(fù)制性的旅程。因此，60多個(gè)實(shí)驗(yàn)室開(kāi)始合作，重復(fù)20年來(lái)巴西出版物中的60項(xiàng)實(shí)驗(yàn)。我們隨機(jī)選擇了使用三種常見(jiàn)實(shí)驗(yàn)室技術(shù)的實(shí)驗(yàn)：細(xì)胞存活率的MTT檢測(cè)、用于測(cè)量特定信使RNA的RT-PCR和用于評(píng)估嚙齒動(dòng)物焦慮的升高迷宮法。
每個(gè)實(shí)驗(yàn)將在三個(gè)實(shí)驗(yàn)室重復(fù)，每個(gè)實(shí)驗(yàn)室都根據(jù)原始文章的方法開(kāi)發(fā)了重復(fù)方法。制定、審查和預(yù)先注冊(cè)這些步驟的過(guò)程需要協(xié)調(diào)團(tuán)隊(duì)和進(jìn)行復(fù)制的實(shí)驗(yàn)室之間長(zhǎng)達(dá)數(shù)月的溝通。我們圍繞正負(fù)控制的含義以及定義復(fù)制成功的不同指標(biāo)進(jìn)行了激烈的爭(zhēng)論。我們還花了很多時(shí)間從事普通的任務(wù)，例如研究不同品牌的博洛尼亞香腸的營(yíng)養(yǎng)成分，以更好地模仿在一次實(shí)驗(yàn)中喂養(yǎng)老鼠的自助餐廳飲食。
這些只是我們作為巴西可復(fù)制性倡議協(xié)調(diào)員面臨的一些障礙：由于新冠病毒大流行和巴西貨幣（真實(shí)貨幣）急劇貶值，實(shí)驗(yàn)室也大規(guī)模關(guān)閉。因?yàn)檫@一切，實(shí)驗(yàn)開(kāi)始得很慢，該項(xiàng)目現(xiàn)在定于2022年底完成。
盡管如此，我們已經(jīng)得出了適用于巴西科學(xué)之外的結(jié)論。作為一個(gè)廣泛的解決方案，更嚴(yán)格的標(biāo)準(zhǔn)和更好的方法描述是重要的，但對(duì)重現(xiàn)性來(lái)說(shuō)不夠，而且可能不是對(duì)每一篇論文都可行。為了解決這些問(wèn)題，對(duì)科學(xué)論文的期望必須改變。
生命科學(xué)的研究文章比以往任何時(shí)候都發(fā)展更快。20年來(lái)，高影響力期刊的數(shù)據(jù)量翻了一番，人們?cè)絹?lái)越期待基礎(chǔ)科學(xué)論文包含結(jié)果如何轉(zhuǎn)化為臨床應(yīng)用的證據(jù)。因此，Nature等期刊上的文章最終代表了幾個(gè)人多年的工作。
盡管如此，這并不能保證可復(fù)制性。一個(gè)叫做癌癥生物學(xué)的重復(fù)性項(xiàng)目迄今為止只復(fù)制了17篇被高引用的文章中的5篇的主要發(fā)現(xiàn)，而在Science和Nature雜志上復(fù)制21篇社會(huì)科學(xué)文章的成功率在57 – 67%之間。
為了改善這種情況，已經(jīng)進(jìn)行了許多工作。擬議措施包括增加樣本規(guī)模、預(yù)先注冊(cè)協(xié)議和使用更嚴(yán)格的統(tǒng)計(jì)分析。我們確實(shí)認(rèn)為，就可復(fù)制性而言，這些努力將得到回報(bào)。但如果發(fā)現(xiàn)科學(xué)中的每篇論文都采用這種心態(tài)，一篇典型的高影響力文章可能需要整整十年的工作，以及巨大的預(yù)算。這讓我們想到了其他更有效的方法來(lái)獲得可靠的科學(xué)。
對(duì)實(shí)驗(yàn)室科學(xué)中的一流文章，通常有三個(gè)主要期望：
第一，報(bào)告探索性研究的原始發(fā)現(xiàn)；
第二，通過(guò)使用不同方法的進(jìn)一步實(shí)驗(yàn)來(lái)確認(rèn)它們代表了魯棒現(xiàn)象；
事實(shí)上，試圖在一篇五頁(yè)的論文中滿足所有三個(gè)期望，可能會(huì)導(dǎo)致其中任何一個(gè)都不能很好地實(shí)現(xiàn)。在同一份出版物中強(qiáng)制進(jìn)行探索性和驗(yàn)證性的研究，可能會(huì)扼殺前者或腐蝕后者，從而破壞兩者。為了確認(rèn)最初的、令人興奮的觀察結(jié)果而施加的壓力可能會(huì)使后續(xù)的數(shù)據(jù)和分析產(chǎn)生偏差，特別是在進(jìn)一步的實(shí)驗(yàn)中需要某些結(jié)果才能讓論文被接受的情況下。許多研究人員不會(huì)對(duì)他們最初的觀察結(jié)果持懷疑態(tài)度，相反，他們自然會(huì)不信任或拒絕進(jìn)一步反駁他們的假設(shè)并危及發(fā)表的數(shù)據(jù)。
此外，要求在一篇文章中進(jìn)行大量實(shí)驗(yàn)可能會(huì)將工作量轉(zhuǎn)移到許多脆弱的實(shí)驗(yàn)上，而不是一些有力的實(shí)驗(yàn)上。研究表明，隨著期刊影響的增長(zhǎng)，統(tǒng)計(jì)能力和單個(gè)實(shí)驗(yàn)的報(bào)告質(zhì)量都沒(méi)有提高。來(lái)自許多實(shí)驗(yàn)的數(shù)據(jù)量和種類可能會(huì)壓倒審稿人審查證據(jù)的能力。
最后，由于研究小組自己工作不可避免地改變方法、模型或條件的限制，大多數(shù)文章最終都根據(jù)受限數(shù)據(jù)得出結(jié)論，而沒(méi)有評(píng)估可推廣性。因此，默認(rèn)情況下，單個(gè)研究小組的文章應(yīng)被視為初步文章。如果期望每份出版物的結(jié)果在其他環(huán)境、模型或人群中都成立，那么可復(fù)制性危機(jī)似乎是不可避免的。與其要求每位作者進(jìn)行價(jià)值十年的確認(rèn)性實(shí)驗(yàn)，不如通過(guò)其他機(jī)制來(lái)確定結(jié)論的有效性，不過(guò)這也許超出了論文的范圍。
還有什么其他方法來(lái)評(píng)估調(diào)查結(jié)果是否足夠可靠？一種選擇是利用不同研究小組的研究結(jié)果綜合已發(fā)表的文獻(xiàn)。另一個(gè)方法是組織確認(rèn)性實(shí)驗(yàn)，這些實(shí)驗(yàn)專門用于評(píng)估魯棒性和推廣性。理想情況下，這些將結(jié)合不同實(shí)驗(yàn)室的多種方法和實(shí)驗(yàn)?zāi)Ｐ汀Ｐ〗M之間的協(xié)調(diào)可以標(biāo)準(zhǔn)化數(shù)據(jù)收集，并保證獲得結(jié)果，從而促進(jìn)合成并消除出版偏見(jiàn)。
在科學(xué)的各個(gè)領(lǐng)域建立了不同類型的合作。幾十年來(lái)，制藥行業(yè)一直在管理多中心臨床試驗(yàn)。從事遺傳流行病學(xué)工作的財(cái)團(tuán)匯集了來(lái)自不同人群的樣本，以提高統(tǒng)計(jì)能力。
這些努力在成本和勞動(dòng)力方面成本都很高，不能對(duì)每一項(xiàng)公布的調(diào)查結(jié)果進(jìn)行。盡管如此，它們是確認(rèn)關(guān)鍵現(xiàn)象的更有效方式。
其他作者認(rèn)為，產(chǎn)生初步結(jié)果的探索性研究應(yīng)與評(píng)估這些結(jié)果的確認(rèn)性項(xiàng)目更明確地分開(kāi)，作為改善過(guò)程兩端的一種方式。探索性和確認(rèn)性工作之間的獨(dú)立性可以讓科學(xué)家有更大的自由來(lái)探索假設(shè)，同時(shí)在測(cè)試時(shí)堅(jiān)持嚴(yán)格性并防止偏見(jiàn)。此外，每種方法都需要一套不同的能力，應(yīng)該通過(guò)不同的指標(biāo)進(jìn)行評(píng)估。
如果編輯政策減少對(duì)新實(shí)驗(yàn)的要求，避免要求提供臨床潛力的證據(jù)，基礎(chǔ)探索科學(xué)將有所幫助。只要實(shí)驗(yàn)和分析是公正的，探索也可以從發(fā)布范圍有限的孤立發(fā)現(xiàn)中受益。這可以幫助審查，減少偏見(jiàn)和加快傳播，同時(shí)減少通過(guò)偷工減料，或描述失敗的實(shí)驗(yàn)，來(lái)講述連貫的故事。
一個(gè)更好的機(jī)制可能是建立由機(jī)構(gòu)或資助者驅(qū)動(dòng)的正式系統(tǒng)來(lái)管理合作項(xiàng)目。這種合作已經(jīng)在特定領(lǐng)域存在，如美國(guó)國(guó)家老齡問(wèn)題研究所、美國(guó)國(guó)防高級(jí)研究項(xiàng)目局（DARPA）和德國(guó)聯(lián)邦教育和研究部。盡管如此，它們?nèi)杂锌臻g變得更加廣泛，也許與贈(zèng)款申請(qǐng)或同行評(píng)審一樣成為生物醫(yī)學(xué)科學(xué)的一部分。
雖然我們可以讓普通論文更加嚴(yán)謹(jǐn)，但過(guò)分強(qiáng)調(diào)單個(gè)論文及其可重復(fù)性不應(yīng)影響我們得出合理結(jié)論的其他方法。與其期望每一篇論文都能建立可靠的現(xiàn)象，倒不如改進(jìn)對(duì)初步發(fā)現(xiàn)的系統(tǒng)確認(rèn)更為可行。
要做到這一點(diǎn)，生物醫(yī)學(xué)界需要確信，一些資源應(yīng)該轉(zhuǎn)用于調(diào)查較少的大型項(xiàng)目。資助者和機(jī)構(gòu)必須更積極主動(dòng)地協(xié)調(diào)科學(xué)工作者，以選擇和解決關(guān)鍵研究問(wèn)題，而不是在實(shí)驗(yàn)室競(jìng)爭(zhēng)之間分散資源。這涉及建立激勵(lì)制度，在資金、職業(yè)發(fā)展和信貸方面，以鼓勵(lì)研究人員在大型項(xiàng)目中承擔(dān)不那么自主的角色。科學(xué)協(xié)會(huì)和期刊也可以在確定特定研究領(lǐng)域的哪些發(fā)現(xiàn)被認(rèn)為對(duì)復(fù)制至關(guān)重要方面發(fā)揮作用，這是一個(gè)艱難的決定，需要科學(xué)界的廣泛投入。
將可復(fù)制性的負(fù)擔(dān)從單個(gè)研究人員轉(zhuǎn)移到有組織的社區(qū)最終可以提高被視為科學(xué)事實(shí)的標(biāo)準(zhǔn)，也可以對(duì)科學(xué)的公共傳播產(chǎn)生有益的影響。實(shí)現(xiàn)這一切的理想方式仍然是一個(gè)懸而未決的問(wèn)題。但我們至少可以同意，它比一篇論文所能容納的要大。
文章鏈接：https://doi.org/10.1038/d41586-021-02486-7
原創(chuàng)文章，作者：Gloria，如若轉(zhuǎn)載，請(qǐng)注明來(lái)源華算科技，注明出處：http://m.xiubac.cn/index.php/2023/10/11/e4bacd4aa0/
-透明背底.png)
