深度学习中创新点比较小，但有效果，可以发（水）论文吗?

2年前 (2023) 程序员胖胖胖虎阿

189 0 0

深度学习中创新点比较小，但有效果，可以发（水）论文吗?

来源：https://www.zhihu.com/question/528654768

作者：王晋东不在家

首先，当然可以发。不过即使你不提点，也可以发。

然后，重点是如何发？给出一些讨论以供参考：

刨根问底法：此种方法最为直接，即知其然也要知其所以然。如果你提的小改进使得结果变好了，那结果变好的原因是什么？什么条件下结果能变好、什么条件下不能？提出的改进是否对领域内同类方法是通用的？这一系列问题均可以进行进一步的实验和论证。你看，这样你的文章不就丰富了嘛。这也是对领域很重要的贡献。
移情别恋法：不在主流任务/会议期刊/数据集上做，而是换一个任务/数据集/应用，因此投到相应的会议或期刊上。这么一来，相当于你是做应用、而不是做算法的，只要写的好，就很有可能被接受。当然，前提是该领域确实存在此问题。无中生有是不可取的，反而会弄巧成拙。写作时一定要结合应用背景来写，突出对领域的贡献。
声东击西法：虽然实际上你就做了一点点提升和小创新，但你千万不能这么老实地说呀。而是说，你对这个A + B的两个模块背后所代表的两大思想进行了深入的分析，然后各种画图、做实验、提供结果，说明他们各自的局限，然后你再提自己的改进。这样的好处是你的视角就不是简单地发一篇paper，而是站在整个领域方法论的角度来说你的担忧。这种东西大家往往比较喜欢看、而且往往看题目和摘要就觉得非常厉害了。这类文章如果分析的好，其价值便不再是所提出的某个改进点，而是对领域全面而深刻的分析。
移花接木法：不说你提点，甚至你不提点都是可以的。怎么做呢？很简单，你就针对你做的改进点，再发散一下，设计更大量的实验来对所有方法进行验证。所以这篇paper通篇没有提出任何方法，全是实验。然后你来一通分析（分析结果也大多是大家知道的东西）。但这不重要啊，重要的是你做了实验验证了这些结论。典型代表：Google家的各种财大气粗做几千个实验得出大家都知道的结论的paper，比如最近ICLR'22这篇：Exploring the Limits of Large Scale Pre-training

以上介绍了几种常用的办法。更多的办法，以后再更新。

最后说一句，不管上述哪种方法、甚至即使你有特别大的创新时，写作永远都是重要的。

作者：HeptaAI

当然可以，但是你自己要明白，自己的工作的意义是什么。就算性能下降了，如果你能找出性能下降的理由，并且提出前人忽略的地方，也是非常好的文章。发文章首先要思考自己的工作对于学界的贡献，现在大部分文章都在刷点，能够静下心来想想为什么自己的点数上去的反而不多。比如一个benchmark，你套一个图论上去，性能就上去了。但是为什么呢？是因为图论引入的拓扑关系可以提升网络的structure性吗？是因为图论增加了知识间的关联度吗？反之，如果点数反而下降了，是因为图论和任务不兼容吗？是因为图论带来了冗余的知识吗？如果是，那又是什么冗余知识呢？可以通过消融实验来佐证你的观点吗？如果不行，可以用前人做过的实验说明图论可能会带来冗余知识吗？这些都需要静下心来认真思考，才能提升自己的思维质量。

研究工作在很大程度上是对整体思维的提升，而非对某种技术的掌握。研究人员与程序员最大的区别就在于没有详细的任务界定，很多东西根本不是良定义的，很多东西根本没法建模，很多东西无法用劳动力去衡量。程序员团队做出的产品，是有肉眼可见的实际价值的，而且有比较完善的任务体系，实现的是一个业务功能；研究团队一般由一两名科学家带头，做出的主要产品是在学界业界都有参考价值的研究报告，而代码和性能只是次要产品。不难发现，研究代码一般都比较散乱，很多程序员为此不齿，其实如果自己去写，写出来的代码根本好不到哪里去；最主要原因是研究的方向和任务都不是确定的，修改代码是非常正常的事情，改着改着又一定会出问题，例如想要加入某一些观测，这个时候代码又要改。研究在很大程度上在意的是你是如何得到这个东西的，而不是你得到的这个东西有多好。如果这个东西通过一些小聪明比原来好了一点点，你却不知道是怎么做出来的，那么你的贡献是微小的。

所谓的水论文，就是指这一类。胡乱改一通，调了一下参数，甚至干脆换了一个种子，好了，性能提升了2个点，开始写文章。文章丝毫不提相关工作，只介绍自己的架构，做起来好像跟自己模仿的工作没有任何关系，以此掩盖是非，弄虚作假，骗过审稿人的眼睛，发上顶会。相比之下，那些发到一般的期刊和会议的一些文章，虽然并没有提升多少性能，但是提出了看问题的另一个角度，通过这个角度重新分析某一个模型的性能为什么好，反而给社区带来了很大的启发，诞生了诸如Mask RCNN这样的工作。

因此，只要你不故弄玄虚，秉着严谨的态度写论文，通过调查先前的研究，思考自己的创新点到底在哪里，为什么会提升性能，你用了哪些方法来证明你的性能提升是因为这个原因，之前工作为什么没有思考到这个创新点，你又是怎么想到的，这些全部用朴素的文字表达出来，用有深度的思考呈现给编辑看，这根本不是水论文，这种文章的含金量甚至比单纯的提点更高。

作者：知行

深度学习属于人工智能的连接学派。如果你仔细看看或许觉得神经网络和集成电路比较相似。这里面暗含了一个基本思想：模块化。所以深度学习通俗一点就是“积木游戏”。所以深度学习创新可以类比积木游戏创新就主要来源于三个方面：（1）创造新的积木类型。（2）创造新的堆积木的方式，堆出不同形状。（3）堆积方法用于不同的游戏场景。