您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识

深度学习怎么找idea发论文？

积木,算子,大神深度学习怎么找idea发论文？

发布时间：2019-02-08加入收藏来源：互联网点击：

问题补充： 大多数研究生都是以毕业任务为导向发论文，数学功底较差或一般的，都是在拼接组合方法做应用。

回答于 2019-09-11 08:43:50

回答于 2019-09-11 08:43:50

你好。谢邀。

---

深度学习属于人工智能的连接学派。如果你仔细看看或许觉得神经网络和集成电路比较相似。这里面暗含了一个基本思想：模块化。所以深度学习通俗一点就是“积木游戏”。所以深度学习创新可以类比积木游戏创新就主要来源于三个方面：（1）创造新的积木类型。（2）创造新的堆积木的方式，堆出不同形状。（3）堆积方法用于不同的游戏场景。

以下从这三个方面展开来讲：

创造新的积木类型

拿激活函数举例：relu、leakly relu、parameter relu... sigmoid、tanh。按网络基础构成算子举例：全连接fc，卷积conv，循环算子lstm，gru。

尝试着从数学库里面找一个理论，将它算子化，也许这就是一篇不错的论文。以前专家总是手工来寻找这样的算子，现在google的大神们借助算力使用automl，autodl来自动寻找算子，如果你也有功能强大的算力你也可以尝试着用算力自动寻找新的“积木算子”，如果这个算子恰好又是神奇的提高了神经网络的性能，那么人工智能深度学习领域又将多一个大神一样的人，而这个人恰好就是你。

创造新的堆积木方式

resnet很大程度受益于highway network的启发，将X直连到下一层这个概念在论文发出来之后其实看看觉得蛮直观的，但为什么其他人都想不到呢？这个问题我也在问自己，O(∩_∩)O哈哈~。再举个例子：Conv层如何堆，是同型Conv堆积还是不同kernel size的conv进行堆积，也许这就是alexnet，googlenet等不同卷积网络的区别。

目前google也借助遗传算法等自动找到新的堆积木的方式，发了很多高水平的论文，如果我告诉大拿科学家他们这仅仅是堆积木的方法不同“无他但手熟尔“，他们会不会生气打我。

堆出的积木形状用于不同的场景

Attention注意力机制最先出现在NLP领域，后来进入了语音识别和合成领域还有CV计算机视觉领域。仅仅是相同的积木用在了不同的场景罢了，最先发现新的应用场景的人成了他所在领域的大神，如果我说大神仅仅是搬运工相信大神也会打我的。

以上三种方式不一定概括全面，但我认为能做到上述任意一条的都是一个不错的想法。当然"积木游戏"要玩的好，一定需要“多玩”，所谓多玩意味着多看论文看看人家怎么玩，玩的好的人怎么玩，学着按别人的套路玩，最后自己找到一种新玩法，反复训练自己的新玩法达到纯熟，干翻一堆老玩家，你就是终极玩家了。

综上所述：

深度学习不简单，但也不必想的过于复杂。灵活的应用上述提到的三条，随意创新、大胆实践做实验，相信很快你就能发出很多高水平的论文了。

两句话总结：

1. 实践是检验真理的唯一标准。

2. 无他但手熟尔。

回答于 2019-09-11 08:43:50

其实你要问的问题，你已经全部说了，你要是能够找到一个一鸣惊人点子，你直接就是专家了。

可以多看看深度学习框架的源代码，找出他们的不同点，他们的算法是如何优化的？这样基本上就可以写论文了。因为数学功底就是找规律的速度，以及对规律的感知，那是数学家干的事。

回答于 2019-09-11 08:43:50

深度学习仍与大脑差距甚远、可以比较两者然后想法改进，诸多类脑的初创公司都是如此做。