[撥開(kāi)引文分析迷霧,破解科研評(píng)價(jià)困惑] 撥開(kāi)層層的迷霧
發(fā)布時(shí)間:2020-03-10 來(lái)源: 人生感悟 點(diǎn)擊:
[摘要]簡(jiǎn)要介紹荷蘭著名科學(xué)計(jì)量學(xué)家亨克?莫德的專著《科研評(píng)價(jià)中的引文分析》。該書(shū)主要分為8個(gè)主要單元,探討基礎(chǔ)科學(xué)研究部門(mén)和科技期刊評(píng)價(jià),ISI引文索引,社會(huì)科學(xué)與人文科學(xué)評(píng)價(jià),準(zhǔn)確性,引文分析與同行評(píng)議等問(wèn)題。書(shū)中的結(jié)論為我們有效利用引文分析方法提供理論指導(dǎo)和實(shí)踐借鑒。
[關(guān)鍵詞]書(shū)評(píng) 引文分析 科研評(píng)價(jià) 亨克?莫德
[分類號(hào)]G31
科研評(píng)價(jià)是科學(xué)技術(shù)活動(dòng)的重要環(huán)節(jié)之一,也是推進(jìn)科學(xué)技術(shù)事業(yè)發(fā)展的必要保證。如何科學(xué)、合理、公正地對(duì)不同類型的評(píng)價(jià)對(duì)象實(shí)施鑒別、判斷、排序,是一個(gè)長(zhǎng)期困擾科學(xué)學(xué)理論與科技管理實(shí)踐的難題。引文分析作為近年來(lái)蓬勃發(fā)展的科學(xué)計(jì)量學(xué)方法之一,逐漸進(jìn)入到科研評(píng)價(jià)的視閾中。SCI、引文量、期刊影響因子等術(shù)語(yǔ)成為學(xué)術(shù)界耳熟能詳?shù)摹坝餐ㄘ洝。但由此衍生的困惑乃至置疑之聲也越發(fā)使引文分析方法處于風(fēng)口浪尖之中。著名科學(xué)計(jì)量學(xué)家,1999年度科學(xué)計(jì)量學(xué)最高獎(jiǎng)――普賴斯獎(jiǎng)獲得者,原荷蘭萊頓大學(xué)EWTS教授,現(xiàn)受聘于愛(ài)思唯爾(Elsevier)出版集團(tuán)高級(jí)學(xué)術(shù)顧問(wèn)的亨克?莫德(Henk F.Moed)撰寫(xiě)的Citation Analysis in Research Evaluation《科研評(píng)價(jià)中的引文分析》一書(shū),2005年由出版界巨頭施普林格(springer)公司出版,2010年由中國(guó)科學(xué)技術(shù)信息研究所引入版權(quán),并由科學(xué)技術(shù)文獻(xiàn)出版社翻譯出版。該書(shū)對(duì)于國(guó)內(nèi)學(xué)術(shù)界全面了解引文分析的本質(zhì)、引文指標(biāo)的構(gòu)建,以及引文分析在科研評(píng)價(jià)中的優(yōu)缺點(diǎn)展開(kāi)了系統(tǒng)深入的闡述,對(duì)于厘清當(dāng)前我國(guó)學(xué)術(shù)界和科技管理實(shí)踐中的某些誤區(qū),指導(dǎo)科學(xué)理性使用引文分析方法,具有重要的參考價(jià)值。
全書(shū)共分2大部分27章。第一部分介紹了全書(shū)的基本觀點(diǎn)和一般結(jié)論,第二部分是關(guān)于引文分析的基本觀點(diǎn)和結(jié)論的一些理論分析、案例舉要和實(shí)證研究。全書(shū)的研究對(duì)象具有覆蓋面廣的特點(diǎn),既關(guān)注自然科學(xué)領(lǐng)域的評(píng)價(jià)問(wèn)題,還討論人文科學(xué)和社會(huì)科學(xué)的引文特征;既涉及了單篇論文、期刊的評(píng)價(jià),又探索了學(xué)科、團(tuán)隊(duì)等中觀評(píng)價(jià),還剖析了國(guó)家層面的科研產(chǎn)出及其科研合作等宏觀問(wèn)題。此外,秉持確定性和商討性的態(tài)度也是本書(shū)作者的主要研究和寫(xiě)作風(fēng)格。
作者指出,引文應(yīng)用于科研評(píng)價(jià)的前提是,必須做到正式、公開(kāi)、學(xué)術(shù)性。正式就是在進(jìn)行引文分析之前,使被評(píng)價(jià)者和決策者明確引文分析所運(yùn)用的各種指標(biāo)的內(nèi)涵;公開(kāi)是指評(píng)價(jià)者使用的各類數(shù)據(jù)務(wù)必準(zhǔn)確,并接收被評(píng)價(jià)者的核檢;學(xué)術(shù)性是指任何評(píng)價(jià)必須要有明確的理論假設(shè)、研究路線以及對(duì)結(jié)果意義和局限性的討論。學(xué)術(shù)質(zhì)量是科研評(píng)價(jià)的中心話題之一。作者認(rèn)為,“引文主義”所確立的研究質(zhì)量和同行專家們所認(rèn)定的學(xué)術(shù)質(zhì)量都具有片面性。在引文分析與科技政策領(lǐng)域的關(guān)系上,引文分析畢竟屬于純學(xué)術(shù)領(lǐng)域,需要在理論框架下尋求適合的研究方法,而政策領(lǐng)域更關(guān)注的是可行性和政策相關(guān)性。作者認(rèn)為,評(píng)價(jià)性的引文分析利用方式最好排除在政策領(lǐng)域之外。因?yàn)閿?shù)據(jù)采集過(guò)程很容易出現(xiàn)錯(cuò)誤,簡(jiǎn)單的統(tǒng)計(jì)指標(biāo)容易受到較強(qiáng)偏態(tài)分布數(shù)據(jù)的影響。對(duì)于廣為使用的期刊影響因子,作者認(rèn)為,不存在一個(gè)衡量期刊績(jī)效的完美的單一指標(biāo)。某個(gè)特殊指標(biāo)的有效性隨使用的場(chǎng)合不同而變化。學(xué)科差異、引用時(shí)間窗口、期刊類型、標(biāo)準(zhǔn)化處理等都是利用影響因子必須考慮的因素。他強(qiáng)調(diào),盡管影響因子存在某些局限性,但仍不失為一個(gè)較為可靠的指標(biāo)。ISI收錄文獻(xiàn)的充分性越來(lái)越引起人們的關(guān)注。對(duì)來(lái)源期刊的統(tǒng)計(jì)發(fā)現(xiàn),分子生物學(xué)、與人類相關(guān)的生物科學(xué)、化學(xué)等學(xué)科收錄的期刊十分全面,數(shù)學(xué)、地球科學(xué)、工程學(xué)等相對(duì)全面,而人文與藝術(shù)、社會(huì)科學(xué)的期刊覆蓋面較欠缺。對(duì)于前者,使用引文分析方法通常是恰當(dāng)?shù),?duì)于次者,作者建議應(yīng)將非ISI來(lái)源期刊的引文補(bǔ)充進(jìn)來(lái),對(duì)于后者,應(yīng)擴(kuò)展引用文獻(xiàn)范圍,增加書(shū)籍和國(guó)際會(huì)議論文集的引文。尤其對(duì)于被分割為不同學(xué)派思想的學(xué)科領(lǐng)域,或者受民族和語(yǔ)言所阻礙的領(lǐng)域,不以引文分析數(shù)據(jù)為分析和評(píng)價(jià)依據(jù)可能效果更好。因此,在人文社會(huì)科學(xué)領(lǐng)域的績(jī)效評(píng)價(jià)中,尤其是在定性研究主導(dǎo)的子學(xué)科中,尤其應(yīng)慎用ISI引文索引。關(guān)于引文數(shù)據(jù)的準(zhǔn)確性問(wèn)題,如作者姓名、機(jī)構(gòu)名稱和子領(lǐng)域劃分的模糊性,都會(huì)影響到結(jié)論的可靠性,作者認(rèn)為,有必要運(yùn)用更高級(jí)的引文數(shù)據(jù)處理。
以往在科研評(píng)價(jià)中我們有一個(gè)預(yù)設(shè),即引文數(shù)量等同于質(zhì)量。但果真如此嗎?莫德大膽提出了這樣一個(gè)問(wèn)題:引文數(shù)量究竟測(cè)度了什么?這是一個(gè)與“科研績(jī)效”、“學(xué)術(shù)質(zhì)量”、“影響力”相關(guān)聯(lián)的重要理論問(wèn)題。作者在全面梳理了加菲爾德(Garfield)、斯莫爾(small)、朱克曼(Zuckerman)等人的觀點(diǎn)基礎(chǔ)上,認(rèn)為盡管對(duì)引文的測(cè)度功能有不同的理解,但并不等于說(shuō)引文分析就是缺乏理論基礎(chǔ)的。當(dāng)然,“引文主義者”的觀點(diǎn)對(duì)探尋引文分析的學(xué)術(shù)理論基礎(chǔ)將產(chǎn)生負(fù)面影響,這一點(diǎn)是毫無(wú)疑問(wèn)的。在科研評(píng)價(jià)中運(yùn)用引文分析,其目的不是要捕捉個(gè)人動(dòng)機(jī),而是要研究個(gè)體引用者共同表達(dá)其對(duì)學(xué)術(shù)活動(dòng)結(jié)構(gòu)和績(jī)效的社會(huì)觀點(diǎn)。當(dāng)引文分析用于微觀和中觀層面評(píng)價(jià)時(shí),可能會(huì)歪曲真實(shí)結(jié)果。即使擴(kuò)大樣本也不一定排除所有偏差。原則上,用學(xué)術(shù)影響來(lái)解釋引用情況是行得通的,但是引用影響和學(xué)術(shù)影響的概念有時(shí)并不一致。筆者同意作者的謹(jǐn)慎態(tài)度,認(rèn)為科研績(jī)效是與投入產(chǎn)出密切相關(guān)的概念,學(xué)術(shù)質(zhì)量反映學(xué)術(shù)研究成果內(nèi)在的創(chuàng)新性,而影響力則反應(yīng)了學(xué)術(shù)成果的傳播和使用程度。引文數(shù)量對(duì)上述三個(gè)概念均有一定的測(cè)度功能,但更傾向于影響力測(cè)度。
盡管同行評(píng)議作為傳統(tǒng)的被認(rèn)為是有效的一種評(píng)價(jià)方法而廣為使用,但是仍然受到學(xué)術(shù)權(quán)威、政治壓力、思維模式的影響,使同行間達(dá)成一致意見(jiàn)的程度偏低。作者通過(guò)大量案例研究指出,文獻(xiàn)計(jì)量指標(biāo)應(yīng)該被用作監(jiān)測(cè)和研究同行評(píng)議過(guò)程的工具,并且在大多場(chǎng)合,同行評(píng)議和引文分析結(jié)果具有較強(qiáng)的統(tǒng)計(jì)相關(guān)性。筆者認(rèn)為,在同行專家道德水準(zhǔn)值得信賴的前提下,發(fā)揮專家主導(dǎo)作用并將引文分析作為輔助工具是值得嘗試的。而在學(xué)術(shù)規(guī)范尚未成熟之前,將文獻(xiàn)計(jì)量指標(biāo)引入評(píng)價(jià)過(guò)程,發(fā)揮“鏡子”的映射職能非常必要。
此外,在引文分析的宏觀研究方面,作者也得出了一些相當(dāng)有趣的結(jié)論。自20世紀(jì)八、九十年代以來(lái),全球科技論文數(shù)量由于科學(xué)合作(共同署名)逐漸上升。這可能是受到科研評(píng)價(jià)中的“毛”論文發(fā)表數(shù)指標(biāo)激勵(lì)使然,當(dāng)然在醫(yī)學(xué)和生物學(xué)領(lǐng)域也可能由于受到強(qiáng)調(diào)在高影響因子頂級(jí)期刊發(fā)文導(dǎo)向發(fā)文數(shù)有所下降。通過(guò)國(guó)際科學(xué)合作,使得合作國(guó)都提高了本國(guó)的引用影響。但在雙邊國(guó)際合作中,強(qiáng)國(guó)與弱國(guó)合作從短期看可能會(huì)削弱強(qiáng)國(guó)的被引率。關(guān)于國(guó)家自引,作者研究發(fā)現(xiàn),幾乎所有國(guó)家都過(guò)度引用本國(guó)論文,因此,所謂美國(guó)學(xué)者更傾向于引用本國(guó)論文的結(jié)論缺乏實(shí)證依據(jù)。至于其他國(guó)家更多引用美國(guó)論文,可能是一種引用偏見(jiàn)的影響,但不必強(qiáng)制取締。筆者認(rèn)為,在 我國(guó),通過(guò)與強(qiáng)國(guó)科研合作,可以提升我國(guó)的科研國(guó)際影響力,亦可以形成創(chuàng)新力強(qiáng)的科研團(tuán)隊(duì)。但是在科研評(píng)價(jià)的成果數(shù)量導(dǎo)向下,可能會(huì)催生大量“偽合作”,這必然會(huì)曲解科研合作的初衷。
再者,作者對(duì)發(fā)展新的引文指標(biāo)提出一些設(shè)想。如探索處理合作問(wèn)題、測(cè)度知識(shí)庫(kù)的廣度、一致性及深度指標(biāo),有意與新生科學(xué)家鍛煉成長(zhǎng)的指標(biāo),“定性的”引文分析指標(biāo)等。此外,新的電子出版形式、數(shù)據(jù)庫(kù)和搜索引擎,在引文分析中作為來(lái)源文獻(xiàn)的作用將越來(lái)越重要。盡管如此,仍應(yīng)注意,來(lái)源文獻(xiàn)的多樣化并不支持學(xué)者對(duì)知識(shí)進(jìn)步所做的貢獻(xiàn)越大這一結(jié)論。
最后,本書(shū)再次強(qiáng)調(diào),政策制定者和公眾對(duì)學(xué)術(shù)質(zhì)量信息的需求是合理的,但敘述學(xué)術(shù)質(zhì)量不像其他社會(huì)領(lǐng)域的績(jī)效那樣可以直接測(cè)度,單靠文獻(xiàn)和引文排名,并不足以反映各評(píng)價(jià)對(duì)象間的關(guān)系,以及這些關(guān)系是如何影響個(gè)體對(duì)象的績(jī)效。
總結(jié)本書(shū)得出的基本觀點(diǎn)主要有:學(xué)術(shù)研究質(zhì)量有一定的客觀性,但是引文測(cè)度的并不完全是實(shí)際的質(zhì)量;引文評(píng)價(jià)和科技政策的價(jià)值取向不同;引文分析應(yīng)用于科研評(píng)價(jià)時(shí),數(shù)據(jù)的透明性和文獻(xiàn)計(jì)量學(xué)者的中立性是必要的;引文分析方法更適合宏觀層次評(píng)價(jià),與同行評(píng)議方法各有利弊。
總之,這部著作為我們提供了使用引文分析方法應(yīng)用于科研評(píng)價(jià)的富有啟發(fā)性的思路。對(duì)于解決我國(guó)科研評(píng)價(jià)中引文分析方法使用的越位和缺位問(wèn)題,將給予極為有益的指導(dǎo)。
通過(guò)本書(shū)對(duì)引文分析與科研評(píng)價(jià)諸多復(fù)雜關(guān)系的系統(tǒng)闡述,筆者認(rèn)為,引文分析在科研評(píng)價(jià)理論研究與實(shí)踐應(yīng)用巾的作用是毋庸置疑的。盡管已有的引文分析手段仍存在某些缺陷,但是它畢竟拓展了科研評(píng)價(jià)的視野,一定程度上克服了同行評(píng)議方法固有的封閉性和主觀性帶來(lái)的評(píng)價(jià)偏差,使科研評(píng)價(jià)建立在客觀、公開(kāi)、定量、可操作的基礎(chǔ)上。任何一個(gè)沒(méi)有偏見(jiàn)的學(xué)者必須承認(rèn),SCI對(duì)我國(guó)科技創(chuàng)新和科技事業(yè)發(fā)展的巨大推動(dòng)作用。SCI本身沒(méi)有錯(cuò),關(guān)鍵是如何理解SCI及其引文分析的內(nèi)涵和功能,并智慧地而不是絕對(duì)使用這些工具和方法。尤其在我國(guó)人文社會(huì)科學(xué)評(píng)價(jià)領(lǐng)域,反對(duì)SSCI、A&HCl的不在少數(shù)。與中國(guó)經(jīng)濟(jì)社會(huì)快速發(fā)展相適應(yīng),中國(guó)人文社會(huì)科學(xué)學(xué)者理應(yīng)承載向國(guó)際學(xué)術(shù)界展示我國(guó)經(jīng)濟(jì)、社會(huì)、歷史文化成果和爭(zhēng)取對(duì)國(guó)際問(wèn)題研究的話語(yǔ)權(quán)的責(zé)任和使命。在特定階段,從科研管理角度適當(dāng)給予激勵(lì),至少是不壞的選擇。
引文分析仍有大量的理論和實(shí)證問(wèn)題需要探索。從國(guó)際科學(xué)計(jì)量學(xué)界近年的研究現(xiàn)狀以及本書(shū)觀點(diǎn)看,引文分析要想在科研評(píng)價(jià)中有更大的作為,未來(lái)的工作主要體現(xiàn)在如下幾方面:第一,進(jìn)一步拓展引文數(shù)據(jù)庫(kù)源,如Google scholar、Scopus、ScienceDirect、開(kāi)放獲(存)取等數(shù)據(jù)庫(kù),并檢驗(yàn)同一指標(biāo)在不同引文庫(kù)的表現(xiàn)。對(duì)中文人文社會(huì)科學(xué)文獻(xiàn),建議盡快建立中國(guó)學(xué)術(shù)著作數(shù)據(jù)庫(kù)。畢竟書(shū)籍是人文社會(huì)科學(xué)成果的重要載體之一,目前書(shū)籍中的引文數(shù)據(jù)尚不能準(zhǔn)確獲得。這對(duì)于全面反映評(píng)價(jià)對(duì)象科研績(jī)效是個(gè)缺憾。第二,進(jìn)一步開(kāi)發(fā)和設(shè)計(jì)新的評(píng)價(jià)指標(biāo),如類H指數(shù)、特征影響因子等,并檢驗(yàn)新指標(biāo)與經(jīng)典引文指標(biāo)的一致性和差異性。第三,進(jìn)一步探討引文分析等科學(xué)計(jì)量方法與同行評(píng)議在科研評(píng)價(jià)中結(jié)合的機(jī)理,并提供可操作性的現(xiàn)實(shí)路徑。第四,科學(xué)計(jì)量學(xué)者有必要向政策制定者、科研管理者、學(xué)科研究者乃至公眾普及基本的引文分析理論和方法。當(dāng)前實(shí)踐中出現(xiàn)的評(píng)價(jià)爭(zhēng)議和評(píng)價(jià)失誤與使用引文數(shù)據(jù)的簡(jiǎn)單化、絕對(duì)化、過(guò)度化無(wú)不關(guān)系。歐洲科學(xué)計(jì)量學(xué)夏季學(xué)院即是一個(gè)很好的范例。
參考文獻(xiàn):
[1]莫德.科研評(píng)價(jià)中的引文分析.賀佟豐,等譯.北京:科學(xué)技術(shù)文 獻(xiàn)出版社,2010
相關(guān)熱詞搜索:引文 撥開(kāi) 迷霧 撥開(kāi)引文分析迷霧 破解科研評(píng)價(jià)困惑 撥開(kāi)引文分析迷霧 撥開(kāi)煙霧病的迷霧
熱點(diǎn)文章閱讀