科學期刊排名的質疑

知識新知 11/01/2011


如火如荼的學術發表評核,也延燒到對於發表論文期刊的評核,但同樣是問題重重,引起爭議。

評估研究論文時,同行評議雖是一個評估好方法,但將同行評議用於期刊的排名,則容易出現缺失。倫敦的「一千教師」組織十月間披露一項期刊的排行榜,即招來這種反應。這項排名是第一個以同行評議方式完成的評比,但專家對這項方法提出質疑。排名係根據分數的總和訂定,分數來自「一千教師」組織內的一萬名科學家和臨床 醫生,給予單篇論文的評分。專家指出,這些分數可能因為個人的喜好以及研究領域而失真。

「一千教師」的副編輯葛蘭特(Richard Grant) 說,這項期刊排名對於作者非常有價值,可以補足一些主要以引文計算影響力的期刊分類表列。他表示未來他們會改善上述的期刊排行榜,力圖涵蓋所有專業領域。

創建於二○○二年的「一千教師」,旨在尋求專家篩選文獻,挑出值得重視的論文。專家的評分標準分成六分(建議閱讀)、八分(必讀)、十分(傑出文獻)三級。這項排名同時涵蓋一份雜誌在一段期間所有獲得評分論文的分數總和,並將這些總和標準化,例如根據那段期間這份雜誌發表的所有論文總和進行調整等。

「一千教師」期刊排行榜的榜首,並未爆出黑馬。例如二○一○年排名,也是目前最新的全年排名資料,《自然》雜誌在生物學領域居冠,《新英格蘭醫學》雜誌則在醫學領域名列前茅。不過,其後的排名卻又與影響力因素毫無關聯。葛蘭特說,「我們知道影響力因素的相關性是不準確的,我們也不期待它會準確。」他指出,《國家科學院學報》在他們的排名中表現特別良好,因為學報中的許多論文對科學貢獻良多。

但是,批評者指出,獲得評議的論文數量有限,每年不超過兩萬篇,但發表的論文總數至少逾百萬篇 ,可能造成排名扭曲。西雅圖華盛頓大學的生物學家柏格斯特洛姆(Carl Bergstrom)說,「這些分數說明的,除了期刊的品質,還清楚告訴我們,『一千教師』可能是哪些人組合而成。」柏格斯特洛姆是「一千教師」的成員之一,且他還發表了另一個對立的,稱為「固有因素」(Eigenfactor)的衡量方式。

紐約綺色佳康乃爾大學的學術出版專家戴維斯(Philip Davis)進一步解釋,只要有那麼一位評審殊味獨沽,針對某份小而專門的期刊送出多篇評議與給分,就可讓這份期刊排名大躍進。其中一本期刊排名出奇的高,應該就是拜他們自己的編輯所賜,他給了數篇論文極其正面的評價。

葛蘭特說,類似的利益衝突應避免,且他們會調查此事,並會暫時將出問題的期刊從排名中除名。葛蘭特保證會進一步讓行為規範更臻完善,將評價與方法在「一千教師」網站上清楚說明,務必讓過程透明、清晰,協助使用者將他們的任何疑慮告知「一千教師」。
【知識通訊評論月刊一○九期】2011.11.01

« 七十億的挑戰∣回首頁∣撤稿論文不死 »