经济专业,也来说说审稿的一些体会吧。
1. 所谓双盲单盲其实只是徒有其名而已,实际上就是单盲——也就是审稿人知道文章是谁写的,但是作者不知道是谁审的稿。 别的行业我不清楚,但是经济类的文章,大家在工作论文阶段就已经贴到各大论文库或者自己学校的网页上了,比如 SSRN,所以只要 Google 搜索一下,想知道谁是作者不难。
2. 为什么审稿人会比较挑剔,这个其实只是说明审稿人是符合激励理论的。即便审稿人完全能够判断论文的质量,但是因为如果选择了让作者修改,那么修改之后基本上还是自己审稿,而第二次审稿是没有金钱乃至于非金钱报酬的(第一次审稿一般也没有金钱报酬,但是你会倾向于接受因为你可能想给编辑一个良好的印象,有助于自己发文章,但是接受了之后,第二次审稿只是第一次审稿的自然后续,激励明显不足),所以当文章可发可不发的时候,理性的审稿人会选择拒绝(拒绝了明显该发的文章是有风险的,因为编辑一般水平都不错,编辑会觉得你这个人不靠谱,从而损害自己的信誉;而可发可不发的,拒绝掉没有风险,然后节省了自己的负担)。所以有些时候真是要希望审稿人不那么“经济人”。
3. 其实审稿人是谁,作者有时候也是可以猜的。我有次接到过一个非常负面的评价,我看了之后就知道他是谁了,因为在一次会议上,他也是很不喜欢这篇文章,提的问题几乎就和我接到的评审意见原封不动。投稿落到他手里审,我也是自认倒楣。所以如果之前评论过自己审的文章而不想被猜出来,就别和当初提的意见写的一样。
4. 如果编辑和自己熟,审稿意见可以写的自由一点,突出重点即可。如果编辑和自己不熟,只是第一次合作,一般来说在开头声明自己的研究领域是一个受欢迎的行为,这也给编辑一个信号,让他知道你的意见主要和哪个方面有关。比如说:“我的领域是 XXXX,我主要就 XXX 方面提出自己的意见”等等。 一般没什么突出问题的,我会写 word 的 3 页左右,我感觉这是一个比较体面的字数和页数,对审稿人来说,评语不仅仅是写给作者看的,更重要的是给编辑看。这是为什么 junior 喜欢写很多很细致的意见,而 senior 喜欢“言简意赅”背后的激励因素,因为 senior 不那么在乎编辑的印象。所以等什么时候自己能做编辑了,再给人半页纸的评语吧^_^
5. 被拒和被录都有可能被邀请审稿。并且有时候开会碰到某些杂志的编辑,会后聊天他记住你的领域了,也会在之后某一天邀请你审稿。
6. 文章的质量确实千差万别,有些文章我会纳闷为什么他们敢投…… 有些文章我会觉得投亏了,应该可以发到更好的杂志。对于前者直接拒掉,或者重度修改外加暗示性的拒绝,后者选择轻度修改或者直接接受。
7. 审稿后,会对投稿的畏惧心理小一些。我过去的一年大概审了同一个杂志的 4-5 份稿件(该杂志在相关领域还可以,属于国内分类的 B,second tier field journal),基本上全都拒了。真不是我挑剔,我是很想发掘亮点给过的,但是有些错误确实太触目惊心,那都不是什么“你的创新点在哪里啊?” “你对 XX 的定义不清晰”这种大路货式的问题,是在根子上直接用一种很扭曲的方法去建立了一个很扭曲的模型,然后得出一个反常的结论这种,给过就没天理了。所以我就得出三个结论:要么编辑是专门给我烂稿让我审,要么是我这个领域投这个杂志的都是烂稿,要么就是平均投稿水平就这样,所以撑起来了 10% 左右的录取率。想来应该是第三种可能性较大。
入坑许多年,在计算机视觉和机器学习方向,作为邀请审稿人审了大概 80,90 篇论文投稿,各种档次的会议和杂志都有(好的如 TPAMI, IJCV,CVPR 等等)。我来谈谈我的心得体会。
首先,审稿本身对于审稿人是件吃力不讨好的事。目前绝大多数的审稿是无偿审稿,研究者出于学术职责,更好地服务于学术社区,而接受 editor/area chair 的审稿邀请。我在审阅一篇跟我研究方向一致的论文的时候,大概会前前后后花 4-5 个小时。而当幸幸苦苦誊写完 r 审阅意见的时候,还是匿名提交(double blind or single blind)=,=。所以作为论文审稿人,在审稿过程中并没有任何物质回报,还出于义务花费了自己的大量时间,在此向广大期刊和会议审稿人致敬:)。
我自己所在的计算机科学的人工智能研究领域,更重视顶级会议论文,如 CVPR,ICML 等。审阅这些顶级会议的论文往往要比审阅期刊投稿有意思,因为投稿这些会议的论文都一般是最新研究工作,审阅人可以比常人更早的看到这些工作。不过,这个更早看到最新研究工作的优势也随着最近大家一投稿就放 arxiv 的趋势抹去了。这些会议论文审稿都是 double blind,就是审阅人和投稿人都不知道对方是谁。审稿过程中还会有 rebuttal 阶段(作者根据接收到审稿意见后进行反驳和进一步解释的过程),以及审稿人之间的讨论和最后投票阶段,这之中有些时候会变得挺有意思。比如说,在最后审稿人讨论阶段,当两个审稿人之间对于这篇论文意见出现分歧的时候,有时候他们会争锋相对地 fight for or fight against 这篇论文,产生一些蛮有见地的学术争论,而 area chair/editor 会作壁上观,根据这些学术争论来最后定夺是否接收这篇论文。不过,很多时候审稿人只会根据少数服从多数的原则,对一篇论文接收和拒绝与否达成共识。
目前审稿过程中,我觉得最重要的一个问题是 conflict of interest。一般来说,area chair/editor 在分配论文审稿任务的时候,会将跟审阅人研究方向一致的投稿论文分配给该审阅人。比如说,我自己以前做过视频行为分析,目前做场景理解和深度学习方向,那么我每次收到审稿任务基本都是这两个方向的。很多时候,审稿人自己也在这个会议这个方向有论文投稿。那么,审稿人自己投稿的这篇论文跟这个同一个方向的论文审稿造成了 conflict of interest。虽然这两篇论文会被不同的审稿人审阅,但审稿人自己有了难以避免的偏见。审稿人在审阅论文的时候大部分时间是在对论文’找茬‘,即努力寻找该投稿论文的不好之处,而不是寻找论文的好。这其实也无可厚非,只是想提醒广大投稿者:审阅人其实是’杀手‘,投稿之前请尽量把论文封装得无懈可击,不要给审阅人留明显的攻击漏洞.另外,审稿人在审阅论文的时候,一般都会假设作者是诚实地实现了论文里面的实验结果,审阅人本身并没有义务去实现论文里面的方法.这一点也有个别不诚实的研究者钻空子,比如说今年 ML 圈子里闹得沸沸扬扬的 NIPS'16 论文 SARM 撤稿事件(https://arxiv.org/pdf/1608.04062v2.pdf),我就只能呵呵了.
现在 AI,CV 等研究方向非常火,论文投稿数量极度增加(比如说今年 CVPR 投稿 3000 多篇,4,5 年前我记得只有 1000 来篇),这导致的一个严重问题是合格的审阅人数量不足。一篇论文得有 3 个审稿意见,3000 篇论文就得有 9000 个审稿意见,假设每个审稿人可以审阅大概 6 篇论文,还得去找 1500 个合格审阅人,这是非常困难的一件事。合格审阅人不足的一个直接结果是录取的会议论文质量会受影响。今年 NIPS 的审稿过程就挺乱,录取的论文质量也是参差不齐,我就不多吐槽了。以后的投稿者,也将继续面临审稿意见的方差很大的问题。
最后,我再分享几点独立于论文内容本身的建议:
1.跟相亲似的,审稿人对论文的第一印象非常重要.图表弄漂亮些,错词少一些,语句流畅些,对审稿人是基本的尊重,这都是通过多花时间可以达到的.
2.论文排版能用 latex 就不要用 word. latex 上手可能慢一些,但是掌握之后就再也没法直视 word 排版出来的论文了.这里有个比较好的 latex 入门:<不太简短的 latex 教材>(http://www.mohu.org/info/lshort-cn.pdf).其实快速扫一遍,然后下载个好的 latex template 直接往里面填东西,边用边学就好.写 latex 比写 python 还容易.
3.做图表能用矢量图就不要用标量图.pmatlab 可以导成 eps 或者 pdf,这样就是矢量图了,放大多少都不会失真.我审稿时凡是看到标量图的图表,该论文档次就会下降一格.
补充:
1. 有同学问到杂志论文审稿意见下来之后如何写回复(response to reviewers)。这里一个原则是,如果收到的意见时 major revision 及以上,认真修改论文以及事无巨细并且平和地回复审阅人每条意见,论文最终基本都会被接收。其实说到底就是跟审稿人磨洋工,每个问题都回答了,磨到审稿人说可以了,论文就接收了。
2. 审稿人偷 idea 的问题。很不幸,林子大了什么鸟都有,这种事情难免发生。嗯,全靠审稿人的修养了。
3. 多谢建议,已修改一些英文字词。