机器读心术之神经网络与深度学习

admin

机器读心术之神经网络与深度学习
这是“机器读心术”系列的第二门课程（另一门课是《机器读心术之文本挖掘与自然语言处理）。Alphago的秘密将本课程内被揭开！

深度学习正在引发一场深刻的技术革命，这是人类首次如此接近思维的本质。象手写体识别，脸像识别这类系统，过去的思路是从业务背景中线提取特征，然后产生若干辨识逻辑，再形成算法编程实现，但对于像imagenet那样要对上百万的图片进行上千个分类识别的问题，以往的技术就傻眼了，别说逻辑，连特征的提取都因为过于复杂而没办法进行。现在流行的深度学习网络的方法，把逻辑隐藏在成百上千万的[color=rgb(68, 68, 68) !important]神经网络权值里，让特征被自动识别与提取，却能得出让人吃惊的高准确率。给出通用的框架，通过大量学习数据训练出合适的权值，权值就是逻辑，这是未来的方向，那种先设计算法敲代码的日子该一去不复返了，以后甚至程序员的工作都由机器全部完成也不是没有可能。

深度学习是传统神经网络的发展延伸，随着AlphaGo的热潮成为当前机器学习最火热的前沿方向之一，预计在今后数年以深度学习为主要内容的[color=rgb(68, 68, 68) !important]人工智能将形成继云计算，大数据后的新热点，引发创业潮和技术革命，前程无量。我们学习掌握这个领域的知识，可以抓住未来的发展方向。深度学习领域的特点是适合读的成熟教材几乎没有，但有浩瀚如烟的一大堆论文构成整个知识体系的各种细节，所以体系化这些知识，是学习者面对的首要困难。其次，这些领域大多涉及深涩艰难的算法模型，比如Hopfield网络，受限玻尔兹曼机，自编码器，卷积神经网络，深度置信网络等，基础稍差的人，估计即使花上几年去读，也不可能取得多大的自我进展。知识难以理解的程度超出了很多学习者的极限。所以本课程的目的就是起指路人的作用，为大家选材，整理，融合案例，通过体系化学习提高效率，力争在数个月时间里系统掌握这个领域的大部分知识并应用到实践中去。

我开设这门课的“卖点”就是：用最通俗的语言，从起点开始，由浅入深讲解这些机器领域里最深奥的知识，使即使基础不扎实，理解能力不超群的大众，也能通过课程掌握这些前沿领域的细节技术，并且应用在自己的场景里去完成某些事情。这不是一项轻松愉快的讲授任务，但按照以往在炼数成金上讲授诸多同样具有难度的课程的经验，以及各位同学的鼓励鞭策，又给我无穷的力量和信心，坚持下去把课程做完做好。

课程大纲：
第1课 跌宕起伏70年：神经网络发展概述；最简单的神经元仿生：单层感知器。
第2课 线性神经网络，BP神经网络，基于梯度下降的各种学习算法；BP神经网络应用：信用识别；为什么BP网络丌能支持太多的隐层数？
第3课 Imagenet介绍。BP神经网络应用：图像压缩；稀疏自动编码器与特征提取。
第4课 能联想和记忆的Hopfield神经网络，DHNN与DCNN；应用：OCR识别，解决旅行商问题。
第5课 模拟退火算法与Boltzmann机：随机版的Hopfield神经网络。
第6课 马尔科夫链；受限Boltzmann机RBM，Gibbs采样，CD学习算法。
第7课 应用RBM进行协同过滤；深度置信网络（DBN）：利用堆叠的RBM进行权值预训练，应用于图像编码与解码，图像识别；生成式模型与判别式模型。
第8课 万能逼近器：径向基神经网络；PCA与SVM神经网络。
第9课 局部感受野与卷积神经网络CNN；经典应用：MNIST手写体数字识别，Imagenet图像识别；GPU计算。
第10课 计算机博弈原理，深度学习与AlphaGo，价值网络与策略网络的设计，构成和训练。
第11课 蒙特卡洛树搜索与强化学习，Deepmind通用人工智能的尝试。堆叠150层的超深度网络：深度残差网络及其在Imagenet比赛中的表现。
第12课 递归神经网络RNN；ELMAN和NARX；BPTT学习算法；对抗梯度消失；LSTM原理与结构。
第13课 深度学习在自然语言处理中的应用，word2vec原理与实践；CBOW与Skip-gram；NLP的基本问题，将LSTM应用于中文自动分词和命名实体识别。

游客，如果您要查看本帖隐藏内容请回复