足球论坛

首页 » 常识 » 诊断 » SCI神话早该破了揭开神刊们背
TUhjnbcbe - 2023/6/11 1:35:00
白癜风治疗的费用 https://mjbk.familydoctor.com.cn/bjbdfyy_zx/

据教育部网站消息,近日,教育部、科技部印发《关于规范高等学校SCI论文相关指标使用树立正确评价导向的若干意见》,对破除论文“SCI至上”提出明确要求。

《意见》强调,要准确理解SCI论文及相关指标,深刻认识论文“SCI至上”带来的负面影响。同时,积极探索建立科学的评价体系,推动高等学校回归学术初心,净化学术风气,优化学术生态。

SCI(科学引文索引)是目前国际上流行的科技文献检索工具,通过统计大量引文得出期刊的影响因子等量化指标来对期刊进行排名。按目前的国际惯例,一般用学术期刊的影响因子值来测度期刊的学术水平和论文质量。库叔观察到,学术界普遍存在对影响因子的崇拜现象。

其实,关于“影响因子”的神话,早该破了!上海交通大学讲席教授、科学史与科学研究院首任院长江晓原,近日在北京大学科学技术与医学史系和国研院联合举办的系列科技讲座上,详细讲解了“影响因子”游戏。

究竟该如何破除“影响因子崇拜”,不妨系统了解一下影响因子的来龙去脉。本文整理自江晓原教授的讲座报告。

江晓原上海交通大学讲席教授、科学史与科学研究院首任院长

编辑

王乙雯瞭望智库

本文为瞭望智库原创文章,如需转载请在文前注明来源瞭望智库(zhczyj)及作者信息,否则将严格追究法律责任。

1

“不明觉厉”的影响因子

先来讲“影响因子”游戏。影响因子是我们评价学术刊物影响力的重要指标,这似乎是全世界学术圈的一个“默契”,人们对它不明觉厉。

被我们称为顶级“神刊”的Nature、Science、《柳叶刀》等期刊为什么权威?很多人回答的理由是——影响因子很高。比如Nature的影响因子经常在40左右,《柳叶刀》则经常在50以上。

一个刊物的影响因子高就能让人对它充满崇拜,这是一件较为奇怪的事情。因为影响因子其实是一个游戏,我们拿“韩春雨事件”举例,他所发的《自然·生物技术》(NatureBiotechnology)刊物是Nature的子刊,那一年()该子刊的影响因子值是43,比Nature还要高(38.)。后来,因为韩春雨的试验大家都重复不了,最后他选择了撤稿。

我有一个美国留学生跟我读博士,但他是一个中国人,对国内情况非常熟悉。最初他听说韩春雨做的工作是“诺奖级”的说法时,就表示了质疑。他还说“这种试验要很多钱,那个东西不靠谱吧”。我说那个研究发在了《自然·生物技术》上,他一看,“哎呦,影响因子那么高”,于是他就信了。

这个例子说明,在你不了解情况的时候,一听说某篇文章发在一个影响因子很高的刊物上,自己就“跪”下去了,觉得那肯定很厉害。影响因子确实对我们影响很大,但是我们要知道它到底是怎么一回事。

2

改名又转卖的私营机构

提到影响因子,我们会想到SCI数据库,这个库从最初几百份刊物,到现在收录达多份。而从年开始发表的JCR报告(《期刊引用报告》,JournalCitationReports),就是基于SCI数据库做出来的一个排名,根据论文被引用的情况、影响因子的数值来排名。

国内很多人以前都想当然地认为,“SCI”数据库、“JCR报告”、“影响因子”等都是由国际著名情报机构发布,事实上,发布报告的机构是一家私人商业公司,只不过注册者把这家公司取名叫“科学情报研究所”。

加菲尔德是创立这个商业公司的人,他晚年曾告诉他人,为什么把自己的文化公司叫“科学情报研究所”,是因为人们听了会以为是一个“非营利的政府机构”,这对于发展中国家效果非常明显。

其实这就是一个商业行为,加菲尔德本人正是通过这份创业积累了财富成为富豪的。在定名为“科学情报研究所”之前,他也试过别的名称,比如说有一段时间叫做“加菲尔德学会”,听着就像搞“伪科学”的地方,效果确实不好。

作为私人企业,它有辉煌的业绩:年公司改名“科学情报研究所”,简称ISI;年开始出版SCI报告(科学引文索引,ScientificCitationIndex);年推出SSCI(社会科学引文索引,SocialSciencesCitationIndex),扩大到人文领域;年推出JCR报告,这个报告是最重要的,影响因子排名游戏从这里开始;年又推出AHCI,进一步扩大到艺术等方面。

但是下面的情况很多人并不知道:年,“科学情报研究所”向华尔街风投出售了20%的股权,对于这次出售加菲尔德后来挺后悔,因为他当时财务不好,需要卖点股权来缓解。年,他又向JPT出版公司卖出50%以上的股权,这样一来JPT公司变成控股,随后汤森路透收购了JPT公司(年),成了“科学情报研究所的控股人”。一直到年,转卖给了它现在的主人——加拿大科睿唯安。

一家国内许多人想象的“国际权威科学机构”,被转卖过三次。大家“跪拜”的对象这样被人卖来卖去,情何以堪?你把它想得那么神圣,其实它就在被卖来卖去,这就证明了它的私营性质。年第三次转卖后,大家对它的私人性质逐渐没了异议。

3

公式的奥妙

本来搞排名游戏在江湖上是比较“流氓”的行为,但加菲尔德确实是个人才。这个排名游戏此后深刻地影响了全世界的学术生态,而这一点当初加菲尔德自己肯定也没有料到。

下面我们要讨论的是如何操控影响因子。这跟私营公营没有关系,一个公营的机构同样可以操控。

先说一点简单的历史场景,Nature和Science两个刊物在影响因子推出之初扮演了非常特殊的角色。学界对影响因子的推出,刚开始是存在很多异议的,当时加菲尔德在这两个刊物上大量发文鼓吹影响因子;并且,加菲尔德和Nature之间似乎有心照不宣的“共谋”,因为这两个刊物那时从来不登对影响因子有异议的文章。

最初影响因子的公式和现在用的并不一样。年,加菲尔德修改了公式。最初定义下的Nature和Science排名相当靠后,但一经他修改,排名就大幅提升。更重要的是,加菲尔德通过修改定义,为杂志指明了一个操控影响因子的方向。至于他跟Nature和Science之间是否有“密谋”,这个咱不知道,也没有证据。所谓心照不宣,大家看明白了照着来就行,用不着讲出来。如今Nature又号召反抗影响因子了,这不是我们今天要讨论的,先把怎么操控影响因子搞清楚。

如图所示,一份期刊前两年中发表的“源刊文本”在当年度的总被引用数,除以该期刊在前两年所发表的“引用项”文章总篇数,即为该期刊当年度的影响因子数值。

要注意的是这个公式中分子部分的措辞。分子部分的“源刊文本”一词,其实就是“杂志上刊登的全部文章”,而“源刊文本”又被区分为“引用项”和“非引用项”两类,在通常情况下,“引用项”对应着学术文本,“非引用项”对应着非学术文本。也就是说,分子部分,包括了该期刊上前两年所刊登的全部文本在当年度所产生的全部引用。

这里头奥妙在于,如果你把你的刊物办成引用项很少,比如说一期刊物上只登1篇Article(学术论文),引用项的分母就是“1”,但所有的其他文本产生的引用作为“源刊文本”都会出现在分子上。所以,只要尽可能把分母搞小,分子搞大,你的影响因子就会上去。

对影响因子公式的理解上,国内大部分的学者、媒体和刊物都是错误的。我们中国人习惯是,比如办一个学术刊物的一期容量有10篇文章,我们就会基本上都登成Article(学术论文),比如北大学报,现在随便找一期肯定绝大部分都是Article,可能偶尔一两次会刊登重要会议介绍之类的。我们中国人认为,“源刊文本”就等于“引用项”。

我们就去查加菲尔德在年修改影响因子公式后的期刊数据库发现,Nature、Science、《柳叶刀》、《新英格兰医学杂志》等杂志全都一样,从年开始逐渐减少Article数量,把引用项的数越弄越小,其中减少得特别厉害的是《柳叶刀》。

对西方学术界来说,公式中的“两年期限”在最初提时就存在争议。有人做过研究,对很多人文刊物来说,后面十年产生的引用会非常大,所以两年不合理。至于公式中选取的时间跨度为什么是两年,这是是一个枝节问题,我们现在先解决主要问题——如何利用这个公式操控影响因子。

4

两栖捷径:减小分母

具体怎么操控?现在,Nature大概每期上面有三四篇Article,剩下的都不是,但剩下的那么多内容也会产生引用,不能认为只有Article才会引用。我们有严格的统计证明,非Article内容也产生了很高的引用,所以只要把Article数量减少,影响因子的数值就上去了。

随机选取的一期Nature杂志目录

用这种方式办的刊物叫“两栖刊物”:既有学术文本也有大量非学术文本。Nature、Science、《柳叶刀》、《新英格兰医学杂志》都是这样办的——学术文本仅占杂志总篇数的10%左右。所以,学术文本就是“引用项”,非学术文本就是“非引用项”,全部的文章属于“源刊文本”。

在中国几乎找不到两栖刊物:学术刊物全部都是“Articles”,科普刊物呢,索性一篇Article也没有。所以,在中国科普刊物显然不能进入这个游戏,因为Article是“零”。中国人就认为,别人的神刊也是这么办的,实际上人家的办刊手法里有各种“猫腻”。

我们看到,好多年了全世界影响因子游戏中的TOP20几乎没变过,都是内部变动。在前20名中,有10份都是“两栖刊物”。

西方一些学者的研究证明,“非引用项”对影响因子的贡献,比值在6%~50%,《柳叶刀》则高于50%,这是显性贡献。另外,“非引用项”对影响因子还有隐性贡献,这个相对复杂。比如在一个知名度很高的传播平台上刊登学术文本,和在一个纯粹的学术期刊上登同样的学术文本,它产生的引用数和阅读量是不一样的。

有一个奇特的例子就是《纽约时报》:它每个月会选若干篇学术文本,将整篇Article登在报纸上。一般来说,这种Article纽约时报的读者不会看。但是碰上了有一年《纽约时报》闹罢工,结果在罢工期间报纸不得不缩减版面,于是那些登Article的版面被省掉了,只出现Article标题。过了一阵子罢工结束,版面重新又恢复了。这个事情被研究者统计数据后,得出了什么结论呢?

一篇医学论文登在一个医学杂志上的阅读量是很有限的,但它被《纽约时报》刊登后,阅读量和引用量都增大了。而Nature、Science、《柳叶刀》、《新英格兰医学杂志》等就相当于各自领域中的“纽约时报”,由于它们早就把自己经营成一个非常时尚的刊物,读者广泛,所以你发在Nature上的文章引用量肯定比发在《北大学报》上的引用量高。“引用量高”的成就中就有Nature上非学术文本的隐性贡献,为什么?道理很简单,还回到《纽约时报》。

作为知名传播平台的《纽约时报》因什么出名?难道是因为每个月刊登的Article吗?绝大部分《纽约时报》的读者不可能去读这些Article,这个报纸之所以著名是因为纽约时报上登了很多其他的内容,那些内容使得纽约时报变得知名。

同样道理,如果Nature上全都是Article,它的读者不会有那么多,所以那些非引用项对文章的阅读和引用就是有贡献的。

Nature上还有科幻小说专栏,我写了文章告诉读者,但又有人来对我质问,说你指出这个是什么动机?你是不是想黑Nature?

我说没想黑它,我只是告诉你们它上面有科幻小说,我又没说登科幻小说就不好。

后来,我干脆去译了一本《Nature杂志科幻小说选集》,给大家看看那些小说全是Nature上登的。小说集出版后,科幻界的人非常赞赏,他们夸我做了一件大好事。因为他们觉得科幻小说居然在Nature上都有专栏,极大地提高了科幻小说的格调。但那些跪拜Nature的粉丝们就很义愤,说你用科幻小说这个东西拉低了Nature的层次。我特别挑了里面有一篇11岁小女孩写的小说给他们看,人家11岁小女孩写篇文章让她爸改改就能发Nature,所以你觉得它还有那么神圣吗?

5

综述为王:搞大分子

TOP20影响因子“神刊”中,还有10本属于另一种运作——综述为王,指的是刊登Review(综述文章)。国内一般来说,在学术刊物上偶尔会登Review,我们把它看成是一个“准”学术文章。在国内,有些学校规定研究生要发文章才能答辩,有些学校甚至括弧注明需要发表“非综述文章”。

中国人一般把Review看得比原创的Article低,但对于影响力因子来说,综述文章是一个特别好的东西。有研究证明,一篇综述文章的引用率通常是一篇正常Article的好几倍。

既然Article引用没那么高,那多登点Review不就行了嘛。比如Nature就有固定的Review文章,但因为Nature已选择了“两栖”道路,所以“Review”只是一个栏目。

还有很多刊物想到,既然Review的文章引用率高,那就办一个纯Review的刊物,那每篇文章的引用率都很高。这个想法很有道理,在TOP20“神刊”里的另外10份就是纯Review文章刊物。

比如是常年居于TOP20第一名的刊物《临床医师癌症杂志》(CA:ACancerJournalforClinicians),它在影响因子游戏中的数值已经超过(年为.)。这家刊物靠什么把自己影响因子搞成这么高?就是因为每年都要发两篇Review,其中有一篇关于癌症的几乎年年都一样的,作者一样、结构也一样,就是数据更新下就行,这个Review让它常居“神刊”顶端。

还有《晶体学报A》(ActaCrystallographica,SectionA),虽然它现在没什么名气,排名很低,但当年曾经因为一篇“高引”的综述文章一下子上升到全球第2名。所有人都惊呆了,一篇Review就能将杂志“火箭般地”从0名开外升到全球第2名。但是由于影响因子公式规定计算的年份是发表后2年,第3年就不算了,所以到第3年又落回0名以后,这个例子说明,如果真去玩这个游戏,我们看到它多么有趣。

ISI关于Review的定义是,符合以下四条中任意一条就可以算Review,不需要同时满足:第一,参考文献超过项,这个很容易满足。第二,发表在综述期刊或者期刊综述栏目上。这个稍微有点难,因为期刊得有栏目。第三,标题上有综述或评论字样,这也很容易。还有更简单的,第四,文章摘要中表明该文是综述或评论。

另外,影响因子还可以“讨价还价”,虽然我刚才说了JCR报告上每年都要说一遍影响因子公式,用文字陈述公式的计算方法,但它里头藏着“猫腻”:到底什么是分母上的引用项,什么是非引用项,是由ISI来认定的。他们从来不告诉别人是根据什么原则认定的,这也许是故意的,这样他就可以“上下其手”。比如《柳叶刀》,有一次它把来信投稿分成两类,其中一类要经过同行评议。但ISI把同行评议的部分都算成了引用项,这样一来分母就变大了,导致排名就下滑好几十名。于是,《柳叶刀》就慌了,赶紧去跟ISI交涉,结果同意了,经过同行评议的部分不算在引用项,于是《柳叶刀》又回到排名的前面。

关于《公共图书馆医学杂志》(PLOSMedicine)的例子更有趣。他们在创刊的时候跟汤森路透ISI联系,要求算影响因子。杂志自身估算影响因子应该是11,可是等JCR报告出来时给出的影响因子只有3。当年拍档和我谈到此事时我就开玩笑,说如果争取下,也许会取平均值的7。事实上经过交涉,该杂志的影响因子变成了8,和我估计的很接近了。《公共图书馆医学杂志》要求ISI给出引用项的计算选择过程,但汤森路透始终拒绝公开。

以上总结来看,操控现有影响因子规则的两个捷径就是“两栖捷径”和“综述为王”。

6

“高引”可以被制造

再来思考另一个问题:如果一个刊物完全可以自主地决定它的文章刊用不刊用,它就有可能只挑“高引”的来刊用,甚至还会制造“高引”。

中国人认为的学术“公器”,是一个被国内学术界所共同拥有的东西。比如说选稿,就需要一个专家组成的编委会,让专家审稿,并且审稿的意见在很大程度上决定文章用不用。

Nature不是这样的,他们以独断决定发不发文章为荣。在很多场合,Nature的历任主编都说过,他们是独立的。这个独立体现在哪?就是可以找专家审稿,但不听专家的意见。审完专家说可以发表,但Nature仍然可以毙稿;专家毙了稿,Nature仍可以发。因为专家的意见是参考,并不能决定文章发不发。这也是Nature一直强调的“传统”。

在这个前提下,选择刊登有巨大争议的文章,就会高引。为什么呢?因为如果发一篇非常“荒谬”的文章,很多人就会去驳斥它,每一次驳斥的时候就要把被驳斥的文章引出来,就有了引用,然后影响因子就上来了。所以现在Nature的那些“百年科学经典”、“百年百篇”高引文章里面包括明显的荒谬文章。为什么?因为荒谬的东西也可以产生高引,这也意味着刊物影响因子的操控确实有多种途径。

很多人把国内学术界对“学术公器”的完美想象投射到Nature上。但它并不是,Nature的主编一点都不觉得这样是光荣的。刚刚卸任的主编经常强调他们从不设编委会,而且Nature的文章是独立的,并且还对中国媒体特别强调,Nature旗下的所有子刊全部都一样。

“神刊”是不搞学术“公器”的,它搞独断,主编和编辑部觉得什么文章好就发什么文章,发了以后高引、争论、争议、过两天撤稿都可以,你看看韩春雨撤稿,刊物一点事没有。中国人觉得我办一个刊物,发一篇文章,过两天又撤稿了,就觉得好像我犯了错误,我工作出了失误。但是他们不是这样想的,对西方的顶级“神刊”来说,撤稿家常便饭,Nature、Science都经常撤稿,而且有时候一撤撤一组。杂志也不认为撤稿会影响刊物的声誉,事实上也不影响。

非常好笑的是,那些撤掉的稿子当年对影响因子做了贡献,现在撤掉了影响因子是不是去掉?不会的,甚至一些已经被撤掉的稿还得到引用。所以,不要以为在Nature上发文章就一定是公正的。

Nature

1
查看完整版本: SCI神话早该破了揭开神刊们背