原創(chuàng) Nichols等 集智俱樂(lè)部 收錄于話題#科學(xué)學(xué)16個(gè)

導(dǎo)語(yǔ)

科學(xué)的可重復(fù)性是科學(xué)區(qū)別于偽科學(xué)的一大特征，然而隨著科學(xué)研究的快速發(fā)展及不斷細(xì)化，其不可重復(fù)性的隱患不斷加劇。針對(duì)該問(wèn)題，美國(guó)國(guó)家科學(xué)研究委員推出了《科學(xué)中的可再現(xiàn)性與可重復(fù)性》 報(bào)告，提出一系列指導(dǎo)建議。本文則在原指導(dǎo)意見(jiàn)的基礎(chǔ)上，進(jìn)一步提出前瞻性研究方法，通過(guò)設(shè)計(jì)好的研究順序來(lái)積累研究證據(jù)。并提出利用信息態(tài)演化的方法，持續(xù)更新不同模型的可信度，提高研究結(jié)果與模型預(yù)測(cè)的匹配程度，從而解決可重復(fù)性問(wèn)題。

James D. Nichols等 | 作者

Leo、張澳 | 譯者

劉培源 | 審校

鄧一雪 | 編輯

論文題目：

Opinion: A better approach for dealing with reproducibility and replicability in science

論文地址：

https://www.pnas.org/content/118/7/e2100769118

科學(xué)會(huì)影響我們的日常生活，也指導(dǎo)著國(guó)內(nèi)與國(guó)際政策[1]。因此，科研成果極其重要，然而始終存在[2]。為了解決這一問(wèn)題，美國(guó)國(guó)家科學(xué)研究委員會(huì)牽頭了一項(xiàng)共識(shí)研究Reproducibility and Replicability in Science（NASEM 2019 報(bào)告[3]），在這項(xiàng)研究中，對(duì)關(guān)鍵的概念進(jìn)行了定義，對(duì)有關(guān)問(wèn)題進(jìn)行了討論，并且對(duì)問(wèn)題的解決方法提供了指導(dǎo)建議。雖然已經(jīng)有了這些經(jīng)過(guò)深思熟慮的建議，但我們?nèi)匀挥X(jué)得這些建議并不充分。在先前的研究中，盡管承認(rèn)了分立研究的局限性以及集成研究的必要性[3]，但NASEM 2019 報(bào)告仍僅考慮了單一研究中的可重復(fù)性問(wèn)題。因此，在本文中，我們提倡一種戰(zhàn)略性研究方法，通過(guò)設(shè)計(jì)好的研究順序來(lái)積累研究證據(jù)，并以此來(lái)試圖解決可重復(fù)性問(wèn)題。隨著研究的進(jìn)行，根據(jù)不同假設(shè)的預(yù)測(cè)結(jié)果會(huì)逐步積累不同的證據(jù)。

圖1. 美國(guó) NASEM 2019 報(bào)告《科學(xué)中的可復(fù)現(xiàn)性與可重復(fù)性》

在許多研究領(lǐng)域中，我們很難憑借單一的研究就獲得大量的知識(shí)。芝加哥大學(xué)物理學(xué)教授 John Rader Platt [4]所說(shuō)的那種具有明確結(jié)論的“關(guān)鍵實(shí)驗(yàn)”可以被找到但是屈指可數(shù)。因此，大多數(shù)時(shí)候，單一研究的結(jié)果也只能被視為理論的基石，而理論大廈的構(gòu)建需要對(duì)同一現(xiàn)象進(jìn)行多次研究[5-7]?；谶@一主張，我們可以有計(jì)劃地制定研究順序，從而對(duì)重要假設(shè)的研究做出戰(zhàn)略性的規(guī)劃。

我們主張?jiān)谘芯拷Y(jié)果與模型預(yù)測(cè)之間做比較，這樣比在不同研究結(jié)果之間做比較，對(duì)科學(xué)更有益處。后者是比較兩個(gè)研究的結(jié)果是否相似，而前者是在不斷評(píng)估具體假設(shè)及其預(yù)測(cè)的可信度。當(dāng)存在眾多假設(shè)時(shí)[8]，我們要做的工作就是隨著研究結(jié)果的積累，對(duì)這些假設(shè)的相對(duì)可信度進(jìn)行跟蹤調(diào)查。為了積累研究證據(jù)，我們提出了逐步檢測(cè)模型預(yù)測(cè)結(jié)果的調(diào)查流程。

1. 新方法：信息態(tài)演變

我們可以通過(guò)戰(zhàn)略性的規(guī)劃來(lái)促進(jìn)研究證據(jù)的積累，從而解決科學(xué)研究可重復(fù)性的問(wèn)題。在這里我們使用了一種被稱為“信息態(tài)演變”（evolving information state EIS[9]）的方法，它基于多個(gè)假設(shè)及其各自的模型。

具體而言，在任意時(shí)間 t ，每一個(gè)模型都有與之對(duì)應(yīng)的權(quán)重，以此來(lái)表示該模型的相對(duì)可信度。信息態(tài)則被定義為各模型權(quán)重所組成的向量，說(shuō)明了至今為止各模型所積累的可信度。利用貝葉斯定理結(jié)合 t 時(shí)刻前累計(jì)的權(quán)重以及各模型對(duì)于新數(shù)據(jù)的預(yù)測(cè)程度（如[9]，[10]），即可對(duì)權(quán)重（也就是相對(duì)可信度）進(jìn)行更新。而且，調(diào)查程序中每個(gè)研究的最優(yōu)設(shè)計(jì)也取決于其模型當(dāng)前權(quán)重。如果模型中包含有效的假設(shè)，那么隨著證據(jù)的累計(jì)，該模型的權(quán)重就應(yīng)該接近1，而其余模型的權(quán)重則應(yīng)接近于0。

圖2. 信息態(tài)演變示意圖，每一個(gè)時(shí)刻的餅圖都代表信息狀態(tài)的改變，面積的大小變化則對(duì)應(yīng)著權(quán)重的變化。從圖中我們能夠明顯地看到，隨著研究的進(jìn)展，藍(lán)色所代表的假設(shè)1的權(quán)重在逐漸增強(qiáng)。

一個(gè)和信息態(tài)演變方法相關(guān)的實(shí)例就是由美國(guó)魚(yú)類(lèi)及野生動(dòng)物管理局（USFWS [9]，[11]）牽頭的北美中部地區(qū)綠頭鴨25年管理計(jì)劃。該管理計(jì)劃旨在為捕獵管制政策的制定提供信息，并對(duì)各生物競(jìng)爭(zhēng)模型進(jìn)行比較，從而了解不同管制政策對(duì)種群動(dòng)態(tài)的影響。

在該計(jì)劃實(shí)施的每一年中，基于當(dāng)年（t年）繁殖種群規(guī)模的估計(jì)（基于大規(guī)模的監(jiān)測(cè)計(jì)劃）以及當(dāng)年秋冬捕獵季所選擇實(shí)施的管制政策，四種競(jìng)爭(zhēng)模型都會(huì)給出下一年（t+1年）春天繁殖種群規(guī)模的預(yù)測(cè)。在下一個(gè)繁殖季（t+1年），將各模型基于上一年所預(yù)測(cè)的結(jié)果與種群規(guī)模的最新預(yù)估進(jìn)行對(duì)比，再基于各模型的預(yù)測(cè)能力，利用貝葉斯定理更新先前各模型的權(quán)重。圖3展示了各年種群規(guī)模的預(yù)估及基于模型的預(yù)測(cè)，以及信息態(tài)的演化。

圖3. 該圖展現(xiàn)了美國(guó)中部地區(qū)綠頭鴨的觀測(cè)數(shù)值與預(yù)測(cè)數(shù)值的逐年比較，以及相應(yīng)的權(quán)重演化。圖2上半部分表示的是種群預(yù)估與各模型預(yù)測(cè)結(jié)果逐年變化的圖示。圖中豎線是預(yù)估值95%置信區(qū)間的誤差條，箭頭表示所有模型預(yù)測(cè)的加權(quán)結(jié)果。圖2下半部分則表示的是各模型權(quán)重的演化（信息態(tài)）；研究中各模型在1995年初始權(quán)重相同。

在該計(jì)劃開(kāi)始的時(shí)候，USFWS 為四個(gè)模型都賦予了相同的權(quán)重。到最后，有兩個(gè)模型的權(quán)重已經(jīng)接近 0。而剩下兩個(gè)模型，其中一個(gè)的權(quán)重已經(jīng)是另一個(gè)的兩倍以上。我們注意到，這個(gè)例子中所涉及的權(quán)重變化是發(fā)正在一個(gè)多模型管理計(jì)劃中的。該計(jì)劃的目的是制定狩獵管理政策，而不是為了去學(xué)習(xí)預(yù)測(cè)模型[9]、[10]。如果要將該方法應(yīng)用于學(xué)習(xí)預(yù)測(cè)模型，則需要基于積累證據(jù)以區(qū)分不同模型的目標(biāo)，對(duì)系統(tǒng)操作流程、待評(píng)估目標(biāo)參數(shù)、協(xié)變量做出周期性的調(diào)整。

2. 可再現(xiàn)性與可重復(fù)性

在 NASEM 2019 報(bào)告 中將可再現(xiàn)性（Reproducibility）定義為“計(jì)算可再現(xiàn)，即使用相同的數(shù)據(jù)、計(jì)算步驟、方法、代碼與分析條件應(yīng)當(dāng)獲得一樣的結(jié)果”[3]。這份指導(dǎo)建議包含了對(duì)數(shù)據(jù)訪問(wèn)方法和計(jì)算步驟的詳細(xì)表述，但較少涉及模型的規(guī)范與選擇等重要的變異來(lái)源。

由此，我們發(fā)現(xiàn)可再現(xiàn)性的定義是對(duì)單項(xiàng)研究而言的，若我們以多種研究來(lái)積累證據(jù)，至少也需要檢查某些組分研究結(jié)果的樣本是否一致。這件事是可行的，并且樣本間的差異很可能也會(huì)被發(fā)現(xiàn)。然而，如何利用這些信息為未來(lái)的研究提供信息或積累證據(jù)，我們尚不清楚。

我們認(rèn)為可再現(xiàn)性的缺失是影響可重復(fù)性的多個(gè)變異來(lái)源之一，而可重復(fù)性是證據(jù)積累的內(nèi)涵所在。若希望減少可重復(fù)性方面的問(wèn)題，其它原因至少應(yīng)該受到同等重視，這些原因包括對(duì)重點(diǎn)模型或假設(shè)的具體說(shuō)明，對(duì)預(yù)測(cè)結(jié)果適當(dāng)?shù)耐茖?dǎo)等。積累證據(jù)的方法應(yīng)該對(duì)變異的不同原因有適應(yīng)性，即使在這些原因存在時(shí)，也能做出有用的推斷。

NASEM 2019 報(bào)告將可重復(fù)性（Replicability）定義為“在所有旨在回答相同科學(xué)問(wèn)題的、且擁有自己數(shù)據(jù)的的研究中，取得一致的結(jié)果”。該定義還討論了結(jié)果間的比較和“兩結(jié)果間可重復(fù)性的評(píng)估”。在科學(xué)中，我們認(rèn)為“結(jié)果”應(yīng)該是指模型的預(yù)測(cè)及其相關(guān)假設(shè)與收集到的數(shù)據(jù)相一致的程度，其一致程度被用于評(píng)估模型的合理性，或是區(qū)分兩個(gè)及以上相互競(jìng)爭(zhēng)的模型。

一項(xiàng)研究的重復(fù)提供了支持或反對(duì)假設(shè)預(yù)測(cè)能力的額外證據(jù)。在考慮兩個(gè)相似研究的結(jié)果時(shí)，我們認(rèn)為重點(diǎn)不應(yīng)該放在比較上，而應(yīng)該放在它們各自基于假設(shè)的預(yù)測(cè)的一致性上，并結(jié)合一致性的評(píng)估以獲得證據(jù)的全貌。事實(shí)上，假設(shè)與預(yù)測(cè)間可重復(fù)的一致性（或不一致性）提供了可重復(fù)性的最終證據(jù)。

研究的預(yù)注冊(cè)（preregistration）被認(rèn)為是提高可重復(fù)性的一種方法[3]。通過(guò)預(yù)注冊(cè)，在研究開(kāi)始前就已確定先驗(yàn)假設(shè)及其評(píng)估方法，從而說(shuō)明結(jié)果是基于“探索性”分析還是“驗(yàn)證性”分析。我們建議采取未雨綢繆的策略，從單打獨(dú)斗的研究上升為程序型的研究，研究人員通過(guò)一系列的實(shí)驗(yàn)來(lái)反復(fù)驗(yàn)證假設(shè)，這一系列的實(shí)驗(yàn)專(zhuān)為累計(jì)證據(jù)所用，且是逐步發(fā)展的。

NASEM 2019 報(bào)告中處理研究集成（research synthesis）的部門(mén)即證明了其對(duì)于多案例證據(jù)的關(guān)注?！爱?dāng)前，研究集成是對(duì)各類(lèi)證據(jù)進(jìn)行的系統(tǒng)綜述及元分析（meta-analyses）[3]，并且描述了研究活動(dòng)的集合，包括識(shí)別、檢索、評(píng)價(jià)、整合、解釋及基于語(yǔ)境理解證據(jù)，這些證據(jù)是從某一特定主題的研究所得”。這種對(duì)于多案例證據(jù)的重視是有用的。

然而，基于現(xiàn)有研究的回顧性方法是有局限的。研究綜合的回顧性方法主要基于現(xiàn)有的出版物，必須處理出版物偏倚等問(wèn)題，這些問(wèn)題使得發(fā)表的研究結(jié)果不一定能代表所有針對(duì)指定假設(shè)的研究。檢測(cè)和處理發(fā)表偏倚的常用方法存在缺點(diǎn)。而前瞻性的方法則消除了許多回顧性方法的問(wèn)題，在前瞻性方法中研究人員在某主題下設(shè)計(jì)并實(shí)施一系列用于積累證據(jù)的研究[9]。

NASEM 2019 報(bào)告報(bào)告包含一些聲明，承認(rèn)從多項(xiàng)研究中積累證據(jù)的重要性，例如，

“有些人會(huì)認(rèn)為，將專(zhuān)注于單一研究的可重復(fù)性作為提高科學(xué)效率的一種方式是不恰當(dāng)?shù)摹Ｈ欢?，以?duì)于某一主題累積證據(jù)的綜述來(lái)衡量整體效果及其一般性，可能更有用”[3]。

對(duì)地球科學(xué)和氣象預(yù)測(cè)的認(rèn)知是基于概率預(yù)測(cè)和證據(jù)積累形成的[3]。因此，盡管關(guān)于科學(xué)發(fā)現(xiàn)如何開(kāi)展的觀點(diǎn)遍布整個(gè)報(bào)告，但它們并不占主導(dǎo)地位，也不提供報(bào)告建議的基礎(chǔ)或關(guān)于實(shí)施收集證據(jù)的項(xiàng)目的細(xì)節(jié)。

集中于證據(jù)積累的方法對(duì)于解決與可重復(fù)性相關(guān)的許多問(wèn)題是有用的。不可重復(fù)性的一個(gè)來(lái)源是“科學(xué)假設(shè)的先驗(yàn)概率（實(shí)驗(yàn)前似然性）”[3]。信息態(tài)演化方法將這一概念形式化，并明確地使用它來(lái)更新模型權(quán)重和積累證據(jù)?？尚哦仁腔谀Ｐ偷念A(yù)測(cè)能力，而不是依賴“實(shí)驗(yàn)前”的認(rèn)知。與研究結(jié)果不確定性相關(guān)的報(bào)告經(jīng)常被強(qiáng)調(diào)[3]，但我們應(yīng)該詳細(xì)說(shuō)明如何利用這種報(bào)告。用于更新模型權(quán)重的貝葉斯定理明確地包含了預(yù)測(cè)結(jié)果的不確定性，以及用于評(píng)估數(shù)據(jù)和預(yù)測(cè)結(jié)果之間對(duì)應(yīng)程度的建模過(guò)程的不確定性。更大的不確定性可能會(huì)減緩學(xué)習(xí)的速度，但不會(huì)改變證據(jù)的積累。

我們建議采取額外的前瞻性措施，超越個(gè)體研究，進(jìn)入流程化調(diào)查，研究人員在專(zhuān)門(mén)為積累證據(jù)而設(shè)計(jì)的研究序列中反復(fù)測(cè)試特定的假設(shè)。

建議預(yù)先注冊(cè)擬進(jìn)行的調(diào)查，以澄清研究結(jié)果[3]。信息態(tài)演化是一種前瞻性的研究方法，通過(guò)一系列擬定的研究，使得加速證據(jù)積累的設(shè)計(jì)考慮成為可能。當(dāng)考慮兩個(gè)以上的模型時(shí)，信息狀態(tài)是最優(yōu)設(shè)計(jì)[9]的重要決定因素，對(duì)“實(shí)驗(yàn)前似然性”[3]在研究實(shí)施中的使用進(jìn)行了形式化。

信息態(tài)演化方法和積累證據(jù)的有關(guān)方法主要處理可再現(xiàn)性和可重復(fù)性的問(wèn)題。在信息態(tài)更新過(guò)程中，會(huì)降低可再現(xiàn)性的重要不確定性來(lái)源（例如模型選擇、合并的隨機(jī)性）被直接處理。證據(jù)的積累將焦點(diǎn)從結(jié)果在其它研究中的再現(xiàn)轉(zhuǎn)移到假設(shè)對(duì)于多個(gè)研究的數(shù)據(jù)得出一致預(yù)測(cè)的能力。研究降低可重復(fù)性的系統(tǒng)特征，如復(fù)雜性、噪聲和不穩(wěn)定性[3]，并不妨礙證據(jù)的積累，而僅減慢了其積累的過(guò)程?？杀苊獾姆侵貜?fù)性來(lái)源[3]要么變得無(wú)關(guān)（例如發(fā)表偏倚），要么只是減慢了證據(jù)積累的速度（例如，糟糕的設(shè)計(jì)，錯(cuò)誤）。

3. 進(jìn)展

除了已提出的關(guān)于提高可再現(xiàn)性和可重復(fù)性的指導(dǎo)外[3]，我們建議研究人員不再?gòu)?qiáng)調(diào)孤立研究，而是致力于積累證據(jù)的連續(xù)研究項(xiàng)目。我們理解這一建議說(shuō)起來(lái)容易做起來(lái)難，但我們相信，現(xiàn)有的長(zhǎng)期研究和監(jiān)測(cè)項(xiàng)目已經(jīng)預(yù)先適應(yīng)了這種調(diào)整，正如前文的綠頭鴨案例。研究人員可以組成學(xué)會(huì)，關(guān)注具體問(wèn)題。未被納入這類(lèi)學(xué)會(huì)的孤立研究人員可以通過(guò)設(shè)計(jì)自己的研究來(lái)參與，以促進(jìn)模型間的區(qū)分度[12,13]。只要各研究走在區(qū)分某類(lèi)模型的這條線路上，不同研究者研究計(jì)劃上的差異就不會(huì)構(gòu)成概念性的問(wèn)題。

指導(dǎo)中強(qiáng)調(diào)學(xué)術(shù)機(jī)構(gòu)和國(guó)家實(shí)驗(yàn)室對(duì)于培訓(xùn)的提供[3]。此外，我們相信，如果科研機(jī)構(gòu)的管理部門(mén)將其獎(jiǎng)勵(lì)制度的重點(diǎn)從獨(dú)立研究轉(zhuǎn)向旨在積累知識(shí)的項(xiàng)目，這將非常有用。報(bào)告還對(duì)美國(guó)國(guó)家科學(xué)基金會(huì)（National Science Foundation，NSF）和其他研究資助者提出了要求，希望他們更重視所資助研究對(duì)于方法與數(shù)據(jù)的詳細(xì)描述，并盡量資助探索計(jì)算可再現(xiàn)、發(fā)展標(biāo)準(zhǔn)計(jì)算工具以及對(duì)已發(fā)表工作可再現(xiàn)性與可重復(fù)性進(jìn)行評(píng)估回顧等類(lèi)型的研究。[3]

美國(guó)國(guó)家科學(xué)基金會(huì)和其他資助者也確實(shí)可以發(fā)揮重要作用，將科研文化從單一研究，轉(zhuǎn)向精心設(shè)計(jì)的研究序列。這樣的轉(zhuǎn)變將為研究人員提供動(dòng)力，使他們能融入旨在積累證據(jù)的大型項(xiàng)目中。這種自上而下強(qiáng)調(diào)積累證據(jù)的做法可能非常有效，并將自然地解決許多再現(xiàn)性和可重復(fù)性的問(wèn)題。

2019年NASEM會(huì)議的最終建議向政策制定者和公眾呼吁：“任何基于科學(xué)證據(jù)做出個(gè)人或政策決定的人都應(yīng)該謹(jǐn)慎，不要根據(jù)單一研究的結(jié)果做出嚴(yán)肅決定，不管這一結(jié)果多么有前景?！叭欢瑢?duì)決策者而言，并不能簡(jiǎn)單地保持警惕或等待不確定性被解決（在許多情況下不太可能），而是要使用專(zhuān)門(mén)為處理不確定性而開(kāi)發(fā)的決策算法和方法[12-14]。有些方法可以產(chǎn)生好的決策，同時(shí)減少不確定性，信息期望值（expected value of information）這一的概念的提出也明確了學(xué)習(xí)的價(jià)值[10, 15]。

近年來(lái)，人們?cè)絹?lái)越認(rèn)識(shí)到，科學(xué)研究的進(jìn)步正在受科學(xué)行為問(wèn)題的拖累，例如經(jīng)常無(wú)法再現(xiàn)或重復(fù)已發(fā)表的研究結(jié)果。正因?yàn)楣铝⒀芯康哪康牟⒉皇菫檎w科研工作提供證據(jù)，所以造成可再現(xiàn)、可重復(fù)性問(wèn)題也在所難免。我們建議通過(guò)進(jìn)行有計(jì)劃的研究序列來(lái)積累證據(jù)的正式方法。這一整體建議引出了針對(duì)個(gè)別研究人員、相關(guān)機(jī)構(gòu)、資助機(jī)構(gòu)和政策制定者的具體建議。我們認(rèn)為，從一種孤立的研究文化向一種更綜合的科學(xué)方法的轉(zhuǎn)變，可以加速認(rèn)知的形成。此外，這一政策也將改善并在很大程度上解決可再現(xiàn)性和可重復(fù)性的問(wèn)題。

參考文獻(xiàn)

[1] B. Ramalingam et al., Adaptive Leadership in the Coronavirus Response: Bridging Science, Policy, and Practice (ODI Coronavirus Briefing Note, London, 2020).

[2] M. Baker, 1,500 scientists lift the lid on reproducibility. Nature 533, 452–454 (2016).

[3]National Academies of Sciences, Engineering, and Medicine, Reproducibility and Replicability in Science (The National Academies Press, Washington, DC, 2019). doi:10.17226/25303.

[4]J. R. Platt, Strong inference: Certain systematic methods of scientific thinking may produce much more rapid progress than others. Science 146, 347–353 (1964).

[5]H. Poincare, Science and Hypothesis (The Science Press, New York, 1905).

[6] B. K. Forscher, Chaos in the brickyard. Science 142, 339 (1963).

[7]J. A. Nelder, Statistics, science and technology. J. Roy. Stat. Soc. A 149, 109–121 (1986).

[8]T. C. Chamberlin, The method of multiple working hypotheses. J. Geol. 5, 837–848 (1897).

[9]J. D. Nichols, W. L. Kendall, G. S. Boomer, Accumulating evidence in ecology: Once is not enough. Ecol. Evol. 9, 13991–14004 (2019).

[10]R. Hilborn, C. J. Walters, Quantitative Fisheries Stock Assessment: Choice, Dynamics, and Uncertainty (Chapman and Hall, New York, 1992).

[11]U.S. Fish and Wildlife Service, Adaptive Harvest Management: 2021 Hunting Season (U.S. Department of the Interior, Washington, D.C., 2020).

[12]P. Fackler, K. Pacifici, Addressing structural and observational uncertainty in resource management. J. Environ. Manage. 133, 27–36 (2014).

[13]B. K. Williams, Integrating external and internal learning in resource management. J. Wildl. Manage. 79, 148–155 (2015).

[14]J. D. Nichols, Confronting uncertainty: Contributions of the wildlife profession to the broader scientific community. J. Wildl. Manage. 83, 519–533 (2019).

[15]B. K. Williams, F. A. Johnson, Value of information in natural resource management: technical developments and application to pink-footed geese. Ecol. Evol. 5, 466–474 (2015).

(參考文獻(xiàn)可上下滑動(dòng)查看)

網(wǎng)絡(luò)科學(xué)新課推薦：網(wǎng)絡(luò)動(dòng)力學(xué)

集智學(xué)園特邀陳關(guān)榮、項(xiàng)林英、樊瑛、宣琦、李翔、史定華、李聰、榮智海、周進(jìn)、王琳等網(wǎng)絡(luò)科學(xué)專(zhuān)家作為導(dǎo)師，依托汪小帆、李翔、陳關(guān)榮的經(jīng)典教材《網(wǎng)絡(luò)科學(xué)導(dǎo)論》，自2月27日起開(kāi)展系列上線課程，以網(wǎng)絡(luò)動(dòng)力學(xué)為主線構(gòu)建網(wǎng)絡(luò)科學(xué)知識(shí)體系。歡迎希望進(jìn)入網(wǎng)絡(luò)科學(xué)領(lǐng)域、提高網(wǎng)絡(luò)分析能力、與一線專(zhuān)家探討問(wèn)題的朋友報(bào)名參加！

點(diǎn)擊查看課程詳情：

原標(biāo)題：《復(fù)現(xiàn)是科學(xué)的唯一標(biāo)準(zhǔn)嗎？論文可重復(fù)危機(jī)的一種解決方案》

閱讀原文