刚好前不久NIPS给我发了top reviewer award 就来分享一下我的心得
最主要的判断必须是基于文章本身 我认为几个类型
这种work可能两年能有一篇被我审到 要么是告诉我一条崭新的技术路线 要么是打破我固有的观念 比如斯坦福有一篇差分隐私的文章 将计算成本为普通训练几十倍的隐私计算压到了2倍 生生打破了我对隐私计算复杂度的理解 即时这篇paper没有任何理论而且不通用（比如无法用在CNN上）我也认为这是本领域spotlight 类似的例子还有transformer这种打破RNN传统sequential training路线的和adagrad这种第一次把adaptivity引入的文章
\2. 增广了我的知识 让我觉得“我猜也是如此 谢谢你证实了” 大概是weak accept到accept
可能70%的work都属于这一类 哪怕顶会顶刊绝大多数也是这类work 没有惊喜 但是详实的话也极有价值
如果说第一类work的贡献是指出了科研未来的方向 那这第二类work的贡献就是降低了未来的不确定性 告诉大家 这个方向是对的 可以继续往前走 实验和理论我放这了 大家不用浪费资源/人口/算力了
比如说如果有人做了两层神经网络的收敛性分析 那么做三层的或者把bound收紧就属于这一类 具体点比如NTK理论先搞出来了两层神经网络在MSE loss的GD的收敛 之后Allen Zhu做了极度扎实的框架 囊括了crossentropy loss和SGD等新情况 现在citation也600+还在持续攀升
再比如说实验类empirical文章 可能我还没读到具体算法的时候 光看你大致思路 我就猜你这个改进大概只能涨一两个点 那么如果你涨了10% 我就送一句卧槽 （比如deepmind最近那个差分隐私的paper 没想到data augmentation能涨几十个点） 算你第一类文章 如果真的就涨了一两个点 那就weak accpet 如果突破了我的猜测一丢丢 比如涨了五个点 那就给accept
\3. 对我的认知没啥影响 要么是做的老生常谈 新瓶装旧酒 要么“新意”纯粹就是模型-数据-任务 排列组合
这类work我会给borderline 看审稿的期刊会议档次 如果NIPS级我就borderline reject 除非文章很完整很正确 该有的实验和理论都有 唯独缺novelty那我还是给borderline accept
\4. 除了让我叹气和疑惑啥也不是
这类work最近送审的越来越多了 有的存在根本性错误 证明性的实验性的都有 比如测试集搞成训练集了 比如魔改了常规定义或者performance measure 比如baseline选了过时的过弱的 有的实验机理描述不清甚至前后矛盾 读完无法理解他做了什么 一般我会给个borderline reject提问题 如果能解答我的疑惑 再调分上去 如果让我更加疑惑那就对不起了 strong reject也是有的
当然也有跟文章本身无关的极端情况 比如一稿多投 抄袭等学术不端 那不管文章质量多好都必须拒掉 这里就比较考验搜商了 记得拿到稿子都回去各个数据库比一下
年轻人审稿的时候，往往喜欢挑语法和文章结构错误来向编辑显示自己审的非常细心，尤其是如果作者是来自于母语非英语的国家，加上一句『最好有一个native speaker 来proof-reading会有帮助』几乎是万金油。
但是一般来说，这些并不影响拒稿和修改的决定。
影响比较大的主要是两点，一是贡献，二是执行。
好的文章一般主要看贡献。因为单纯的一个模型推导，或者单纯的跑回归是没什么意义的，本质上是做了一个练习。只有这个练习有了重要的经济学含义，比如解决了文献源流发展中出现的什么问题，揭示了一个什么之前没有的机制，给什么理论提供了新的实证证据…… 之后，这个练习才值得被发表出来。当学生的时候往往喜欢沉迷于方法——用了一个高级的数学工具建模，用了一个先进的纠正偏误方法等等，但是其实这些是锦上添花的，并不是贡献。
把自己的贡献写清楚，可以说是能通过审稿过程的最重要一环。
经济学的期刊对方法论的要求一向比较严格，不差的经济学期刊，可能执行的有好坏，但是基本的底线还是有保证的。
有一些稿件就需要既看贡献，又看执行了。执行没有根本错误，一般都还可以提出意见让对方改，有根本错误的就算了。根本错误就是：你拿这个东西当作文章卖点，然而这个卖点本身不合理甚至于不存在。
比如说，理论模型洋洋洒洒写了三十来页，一堆花符号证明，最后得出一个特别让人惊讶的结果，如果只看贡献，会觉得贡献挺好的。但是如果仔细看模型，里面有一个根本的问题，就是里面的消费者都是韭菜，很多个企业竞争，消费者总是会选一个，而正常来说是要有一个隐含条件的，就是「消费者总是选一个」前提是买总比不买好——不能获得负效用，显然这个条件就被有意无意的忽略了。这种圈起来割韭菜的想法很有意思，但是这么根本的错误，是会推翻其所有的结论的。这种就毫不犹豫的给拒掉。
这是一个好问题。我也算是“萌新审稿人”，从2020年开始成为期刊审稿人，截止到两年后的今天，独立审过十多篇论文，也帮老师审过几篇论文，不算多。
我独立审的论文大部分来自国内心理学顶刊《心理学报》，2020年、2021年分别都审过4篇学报的稿子。曾经有人问：你自己都没发过一篇《心理学报》，为什么能当这个期刊的审稿人？这其实是个误区。审稿人并不一定要在审的期刊上发过文章，你看《Science》《Nature》的审稿人也未必都亲自发过《Science》《Nature》正刊吧？同理，如果被一些普通刊物邀请成为审稿人，也不必先亲自在上面发篇文章才能审稿。所以，「审稿」和「发文章」并不存在必然联系。
但是，「审稿」和「写文章」的关系还挺大：通过审别人的稿，我们就能感受到，什么样的文章是好文章，什么样的文章会被拒稿（正如这个问题所关心的）。如此，我们就能在写自己文章的时候注意规避一些“雷区”，并且追求向“好文章”的标准靠拢。
因此，这是一个好问题，不仅可以促进审稿人相互学习，而且可以帮助作者提升论文质量。
言归正传——审稿人一般在什么情况下会倾向于拒稿？
回顾我这两年审过的稿件，大概可以归纳出4个主要的评判维度：
接下来，我想结合心理学/社会科学领域，分别谈谈这4个维度。
我是一个非常critical的人，因此也是一个非常critical的审稿人——对自己严苛，对别人也严苛。
学术文章，抛开“学术”，首先应是一篇合格的“文章”。即使是初稿，也尽可能接近理想的状态，而不是等审稿人给你揪出一堆基础问题。
很多人说只有“萌新审稿人”才会揪着格式、语病、错别字、标点符号等细节不放。这一点本身倒是不错，我刚开始审稿的时候也会过于关注细节，但是，这并不意味着“成熟审稿人”会对这些细节视而不见，也不意味着“投稿人”能够放任自己的初稿充斥大量语病、错别字和标点符号误用。
心理学界泰斗林崇德先生，在接受采访的时候曾经提起过他大学期间的一段往事：“我爱写东西，我写了一篇论文给他（朱智贤教授），里边有错别字，他就说，‘我上大学的时候已经出版著作了，你已经是大学二年级的学生了，你怎么还要写错别字给我？’”
https://www.bilibili.com/video/BV1yF411h7gA
所以，写作规范性，哪里只是“萌新审稿人”才会关注的？即使是学术泰斗级人物，朱智贤、林崇德教授，依然会严格要求自己不写错别字！老一辈科学家身上的很多优良品质，不能到我们这一代就断掉了。“文章千古事”，不犯语病、不写错别字、用对标点符号，是一篇文章最基本的要求。
现在有没有区分「的」「地」「得」的必要？- 包寒吴霜的回答148 赞同 · 1 评论回答
当然，这些基础细节，也不是审稿人做出“拒稿”决策的最关键因素，只是补充性因素。审稿人（包括我）虽然会关注到一些明显的语病、错别字，但不会因此直接不分青红皂白地否定一篇文章的贡献——只不过，审稿人心中可能会形成一个初步印象，比如觉得作者不够仔细、态度不够端正，进而质疑研究是不是也做得不够严谨、结论是不是也不够可靠。
从这一点来说，写作不规范，仍然会通过“写作态度感知”的中介作用，间接增加审稿人“拒稿”的倾向。尽管审稿人允许稿件存在少量错别字，但每多看到一处错别字，就会在心中多扣一分，等“愤怒值”积攒到一定程度，很可能就会直接形成“拒稿”的总体倾向。一旦这种倾向形成，想要说服审稿人手下留情给你“大修”的机会可就难了，除非论文的贡献非常非常大、方法非常非常严谨、结果非常非常可靠，才有可能逃过一劫。实际上，这种可能性很小，如果一篇文章充斥着错别字，那这篇文章的严谨可靠性一般也高不到哪里去。写作规范性还是可以折射其他很多方面的。
除了文字方面的规范，像心理学学术论文还需要具备APA论文写作规范，比如参考文献列表、文内引用格式、结果报告规范等。
不妨举几个常见的不规范情况吧，下面这些情况，至少对我来说，都是审稿中的“扣分项”（不一定会直接拒稿，但一定会让我质疑作者的写作素养和学术训练程度）。
https://doi.org/10.1126/science.1178358
参考文献（反面教材）：Weisbuch, M., Pauker, K., & Ambady, N. (2009). The subtle transmission of race bias via televised nonverbal behavior. Science, 326(5960), 1711–1714. https://doi.org/10.1126/science.1178358
很多审稿人（包括我）写审稿意见，都会写“Major”（主要意见）和“Minor”（次要意见）。上面说的写作规范性，虽然很重要，但大部分情况下都属于次要意见，不一定直接导致拒稿。
况且，一篇学术论文真正的“生杀大权”其实是在责任编辑（Action Editor, AE）手里的，审稿人只是为AE提供一些参考，至于拒不拒稿，还得看AE喜不喜欢这篇文章、认不认同审稿人的意见。
而影响拒稿的主要因素，在于接下来所讲的三点：问题重要性、方法严谨性、结果创新性。
像《心理学报》这样的高质量期刊，就更是看重研究问题的价值和重要性，尤其是问题的理论价值、理论贡献、新颖性、时效性。
举一个新手研究者经常走入的误区。不少研究者（尤其是本科生、研究生）会认为自己研究的重要性在于**“别人没做过”“填补了研究空白”“在中国文化背景下探讨了以往研究的某个效应”“在某个特殊群体中验证了以往研究的某个发现”——这些其实都不是**真正的创新贡献或研究意义。
问题重要性，决定了一篇论文目标期刊的层次；而方法严谨性，则是任何层次的期刊都有的要求。
在心理学领域，常见的量化研究方法不外乎问卷调查和行为实验。关于这两者的优劣，存在两种不同的声音：一种声音认为，纯问卷调查就是不靠谱的，只有随机分配被试的实验才有发表的价值，因为只有实验可以解决因果关系；另一种声音认为，调查和实验不应该存在“鄙视链”，问卷调查+简单统计，仍然可以发很好的刊物。
我对上面的两种观点都不完全赞同。我认为数据质量和方法恰当才是最重要的两个因素。
无论是可以回答因果关系的实验，还是只能回答相关关系的调查，都有它们各自适用的研究问题。比如评估临床干预的效果，显然需要随机分配被试才能知道干预是否有效，而不是安慰剂效应；但如果研究人格特质对心理/行为的影响，显然我们很难随机操纵个体的人格变量，只能去观察测量。
然而，这些并不意味着“实验一定更优”或“调查一定也行”：如果一个实验没有很好地控制关键的混淆因素，或者一个调查只是方便取样而没有考虑样本的随机性和代表性，那么数据质量都是大打折扣的，这与研究者选用哪种方法论无关。而且，虽然现在鼓励开展所谓的“大数据”研究，但并不是“样本量大”就是“大数据”了，也不能简单认为“只要样本量大，研究就一定很有价值”——道理是一样的，如果数据质量不高，那么再大的样本量都是“Garbage In, Garbage Out”。
其次，有了数据质量的保证，**选用合适的统计方法（用对方法，而不是用酷炫的方法）**也很重要。这就不再详细展开，因为关于统计方法，可以讲的内容实在太多了。
最后，我想简单谈谈我对结果创新性的看法。
我审稿的时候，其实不会太看重结果是不是“反直觉”，因为我觉得一个真正合理、可信的结果，一定是基于靠谱的理论、严谨的方法，并且能让人“眼前一亮”，而不在于这个结果是不是“与常识相反”。所谓的“反直觉”，看上去是一种创新，但也是一种悖论——难道我们的直觉永远都是错的？难道与常识不符的结果才是有价值的？不同意。有不少一开始反直觉的发现，后来经过重复检验，都被发现是不靠谱的、不稳定的、不可重复的，比如大名鼎鼎的“自我损耗效应”。
结果创新性，我认为应该体现在至少三个方面。
以上。
phd已毕业的路过，我一般不会扣细节，格式图表语法这些都是小问题，找起来费时间又不是判断工作质量的主要依据，在审稿意见里通常也只能作为minor comments。期刊虽然没明确细分打分方向，但审过会议论文就知道，一篇文章是从broader impact、novelty、technical soundness、presentation等方面综合考虑的，reviewer也应该对着这几项分别给comments。格式图表语法再多问题，都只属于presentation这一个部分，而且属于最好在审稿过程中改进的一类的。何况作为non native speaker，我不会因为单纯语言问题拒稿，因为我自己的稿子如果没有native speaker合作者改肯定也会有一堆语言问题；我不会因为ppt画图拒稿，因为我自己有十几个图都是ppt画的文章被TIT接收（我也用过tikz画图但是觉得太浪费时间了，甚至没有任何reviewer说你的图不够美观之类的），且我也读过古早的大牛的文章里的图是手画的那种，说明这些压根不是主要问题。
而且根据我个人收到杂志的审稿意见的经验，越是senior researcher或者领域大佬，其实越懂得把握全局评论也越是从欣赏的角度来，给的comments越constructive和谨慎；越是菜的reviewer越是吹毛求疵酸言酸语。因此你经常可以得到那种洋洋洒洒20+条修改意见，但同时毫不吝啬地夸你的工作novel and worthwhile的审稿意见；同时遇到那种声称只看了你的introduction就觉得不符合期待、没看proof但觉得就是不可能得到这个结果、然后又暗戳戳叫你cite她的phd thesis的那种审稿人。我就遇到过ap都当了好几年，从phd到当上野鸡学校的ap期间都只有一篇一作TCOM的领域nobody，强行说她的phd thesis里的某个未发表theorem是relevant work，要我cite她的phd thesis到我的TIT paper里，同时还酸溜溜地说自己只读了introduction但觉得novelty不符合期待（在其他两个reviewer都说我们的工作novel/explores an interesting avenue/technically sound and worthwhile的情况下）…着实令人无语…师兄表示很震惊她怎么会在自己的所有文章都是incremental improvement的情况下厚脸皮说我们的文章不够novel（师兄得过3个paper award）…
个人比较关心的是motivation够不够合理——这一点是判断你研究的问题重不重要，你解决的问题是不重要没有impact别人压根都懒得去研究，还是解决了一个前人关心但解决不了的问题，这一点大概决定了你的文章上限适合哪个档次的期刊。另外，这一点也不该和领域应用火还是不火挂钩，而是在小领域内与前人工作对比够不够自洽，毕竟有很多靠大佬话语权强行扯应用火了3-5年就死了的小方向，背靠这种大树并不意味着真正的broad impact，推崇这种不务实的应用只会坑一代又一代的缺乏资源平台的新手。
其次，contribution有没有说清楚——这一点是很重要的，审过一些文章，乍一看摆了许多公式许多定理，提了很多其他工作，但自己的工作相对于前人工作的改进和主要卖点在哪里，压根没提，还得审稿人反复去对比寻找。如果核心contribution不能在abstract里说明白的话，很多情况下是因为contribution是incremental的。
至于technical soundness，我觉得不应该从公式有多长、工具初等还是高等这种方面来判断，而是根据从已有的工作到这篇文章的gap有多大、多难，结合文章的核心卖点来判断，而且techinical soundness并不与novelty直接挂钩。比如说一篇用到了很高等的工具卖点也是数学技巧，但其实主要技巧难点都是别人的工作，自己只是改了一点点条件，核心证明思路都差不多的文章，对比一个核心思路看上去简单初等但是别人就是没有想到的文章，那我会判定二者都是technically sound但前者novelty不足。而如果这种方法迁移的卖点就是应用且投到了应用杂志上，之前没有其他人把这个理论用个到这个应用里，那也是techinically sound且novel的。
另外，如果自己做过数学证明就知道，很多情况下冗长的证明其实是obvious中规中矩就能顺下来的或者只是想复杂了：我审paper的时候也见过作者扯了一大堆代数用了半页证明一个定理但实际上三行就能证完的情况。如果卖点是数学技巧，那么有经验的审稿人会要求你用简短的几句话总结你的主要idea，说明你的数学技巧为什么work，而前人的方法为什么不能work，如果这一点不能说清楚，其实很可能是单纯的machinery的方法，或者别人懒得去做的obvious extension。当然这种情况的工作也是可以发表的，做框架性的挖坑工作的作者其实很多情况下会有意留下来这种很显然的extension的方向攒citation吸引follow up work，自己把什么都做完了一个方向死了也没什么意义，还费时费力；只是发顶刊就差强人意一点，通常审稿人应该推荐提交给会议或者less selective的期刊。
对于审稿人，novelty判断上凭直觉是非常non-professional的，应该去仔细读读审稿人引用的主要文献，以及与作者之前的工作对比，就当你多学了一个小方向嘛。大多数人审的很多稿子不是自己专精的小方向的，凭直觉判断novelty是很容易出笑话也是很不负责任的，把你读到的东西客观地罗列出来，乖乖在confidence那一栏里选not confident，把判定工作交给editor和更专业的人去决定。而对于authors，把前人的结论和自己的主要结论之间有明显区分是很重要的，很遗憾的是，粗心的审稿人会被一些耍小聪明春秋笔法的作者糊弄过去。最近审一篇会议，作者就是contribution没说清楚。于是我就去细看theorems，结果发现有一半的theorem和lemma都是前人paper里的结论改个notation，不仅不在theorem里放reference，还加上了proofs混淆视听。作者反而没给自己的theorem加proof…搞得我很恼火，这不是浪费人时间吗，不过我最后也给了个borderline。
还有一种缺乏novelty的工作是大组灌水型文章，就是在发了一篇确实很出彩的文章后，不断的用同一个方法搞incremental work，每篇文章一大半都是前面的paper里的框架，然后还会在审其它方法的工作里吹毛求疵保持自己的话语权，这种work确实可以投，但应该去投less selective journal/conference，可惜的是很多情况下因为挂靠大佬所以篇篇都发顶刊，但事实上做相对于自己工作的incremental work和做相对于其他人工作的incremental work是应该一视同仁的。
之前还审过一篇提交给领域顶刊的paper，也是方法很高端，用到高级数学工具，十分硬核，我的major comments都已经开始夸，准备accept+精读给minor comments的时候，看了它引用的两篇主要reference，发现作者完完全全就是把一篇文章的核心数学工具（也是我最开始觉得出彩的地方）用到另一篇文章的框架里，所有theorems、lemmas从本身的statements到proofs基本上都能从这两篇文章里各自找到相似度95%的结论。这也是我第一次不是给revision而是让editor先判断这种情况应不应该继续下一轮审稿。
第三类问题其实是最容易被审稿人忽略、最看作者运气的，很多不仔细、或者对领域工作不了解的审稿人可能根本不会发现。像我前面提到的那篇，三个审稿人里除了我和另外一个审稿人指出来这一点以外，第三个审稿人大夸特夸了一通，什么其他审稿意见都没写。幸好编辑很负责，另一个审稿人看起来也是本领域的专家，大家都看出来了这个问提。这里也希望审稿人们少关注一些小细节，多关注一下这类真正会引发不公平的问题。
首先声明，你们想象的审稿流程跟现实是有很大差距的。
作为生化环材系列资深审稿人，一年审超过80篇所谓的中科院top一区顶刊，
第一，审稿绝对看心情，如果我的稿子刚被拒或者我刚被老板批评，我倾向于拒稿来发泄情绪。
第二，是不是熟人，熟人一般不拒，生人一般不会小修。
第三，看文章的图，如果图做的好看，相信我，被拒的概率会小很多。
第四，看图数量，如果特别多，工作量大，我也会倾向于给修改。
第五，看审稿时间，如果我同意了审稿，但是忘记审了，编辑发邮件提醒三天内给意见，我倾向于给修改。
第六，看研究内容，如果和我研究方向偏差较大，我没有时间提太多意见拒稿，一般给修。
第七，除以上六条，看创新性，在我熟悉的领域，有一定创新性，哪怕数据不完整，不倾向拒稿，没有创新型，倾向拒稿。
第八，我如果一审给了修改意见，二审无论作者改成什么样，不会拒稿。
第九，刚加的，我开始有个讨厌的学校，这个单位的稿子，我不会再给修改。
不要骂人，事实就是这样。
这几点其实涵盖了我身边大多数审稿人的准则。
其实文章送审后，很看运气了。
**说句实话，再烂的文章，如果是中国人写的，即使再烂我都会给个大修（Major revision）！**都是过来人，我可是饱受等审稿人意见之苦！所以将心比心，能放一马就放一马！反正也不会因为我水这么一次，学术圈就有什么影响，但是我水一下对文章的作者来说可以说是打了一针强心剂！
**如果是国外的，基本上写的烂的我都会给rejected！**所以不知道是不是编辑看透了我这一点儿，最近审的都是中国人的稿！
另外，做了审稿人之后我增长了几个新知识：
1.我审过的SCI没一个盲审的，能清楚看到作者姓名和单位，所以在填写不推荐审稿人的时候，一定记得把你们课题组的死对头填上去！
**2.只要你投的多，再烂的文章都能中，**一区中不了投二区，二区中不了投三区，三区中不了投四区！有一个四区期刊，一个印度人的投稿，初审我直接给了rejected，我看了其他两个审稿人，一个给了Major revision，一个给了Minor revision，最后编辑给了一个Major revision，这我也能理解！再审过程中，我提的问题一个都没回答，然后我就继续给了个rejected，那个还是Major revision，过几天一看直接Accepted了！
**3.审稿周期长大概率是换审稿人了，**一种是怎么也凑不齐审稿人；一种是本来答应审稿了，逾期不回，又重新找；最后一种最狠，初审都审过了，再审不审了或者逾期不回！所以编辑老是在寻找审稿人，浪费了很多时间！这种情况你催审基本一点儿用没有，因为这不是编辑能决定的！
希望大家各位师弟师妹投稿顺利！
