Andrew Ng 深度学习课程小记

2011年秋季，Andrew Ng 推出了面向入门者的MOOC雏形课程机器学习: Machine Learning，随后在2012年4月，Andrew Ng 在Coursera上推出了改进版的Machine Learning(机器学习)公开课: Andrew Ng' Machine Learning: Master the Fundamentals，这也同时宣告了Coursera平台的诞生。当时我也是第一时间加入了这门课程，并为这门课程写了一些笔记：Coursera公开课笔记: 斯坦福大学机器学习 。同时也是受这股MOOC浪潮的驱使，建立了“课程图谱”，因此结识了不少公开课爱好者和MOOC大神。而在此之前，Andrew Ng 在斯坦福大学的授课视频“机器学习”也流传甚广，但是这门面向斯坦福大学学生的课程难道相对较高。直到2012年Coursera, Udacity等MOOC平台的建立，把课程视频，作业交互，编程练习有机结合在一起，才产生了更有生命力的MOOC课程。Andrew Ng 在为新课程深度学习写的宣传文章“deeplearning.ai: Announcing new Deep Learning courses on Coursera”里提到，这门机器学习课程自从开办以来，大约有180多万学生学习过，这是一个惊人的数字。

回到这个深度学习系列课：Deep Learning Specialization ，该课程正式开课是8月15号，但是在此之前几天已经开放了，加入后可以免费学习7天，之后开始按月费49美元收取，直到取消这个系列的订阅为止。正式加入的好处是，除了课程视频，还可以在Coursera平台上做题和提交编程作业，得到实时反馈，如果通过的话，还可以拿到相应的课程证书。我在上周六加入了这门以 deeplearning.ai 的名义推出的Deep Learning(深度学习)系列课，并且利用业余时间完成了第一门课“Neural Networks and Deep Learning（神经网络与深度学习）”的相关课程，包括视频观看和交互练习以及编程作业，体验很不错。自从Coursera迁移到新平台后，已经很久没有上过相关的公开课了，这次要不是Andrew Ng 离开百度后重现MOOC江湖，点燃了内心久违的MOOC情节，我大概也不会这么认真的去上公开课了。

具体到该深度学习课程的组织上，Andrew Ng 把这门课程的门槛已经降到很低，和他的机器学习课程类似，这是一个面向AI初学者的深度学习系列课程：

If you want to break into AI, this Specialization will help you do so. Deep Learning is one of the most highly sought after skills in tech. We will help you become good at Deep Learning.

In five courses, you will learn the foundations of Deep Learning, understand how to build neural networks, and learn how to lead successful machine learning projects. You will learn about Convolutional networks, RNNs, LSTM, Adam, Dropout, BatchNorm, Xavier/He initialization, and more. You will work on case studies from healthcare, autonomous driving, sign language reading, music generation, and natural language processing. You will master not only the theory, but also see how it is applied in industry. You will practice all these ideas in Python and in TensorFlow, which we will teach.

You will also hear from many top leaders in Deep Learning, who will share with you their personal stories and give you career advice.

AI is transforming multiple industries. After finishing this specialization, you will likely find creative ways to apply it to your work.

We will help you master Deep Learning, understand how to apply it, and build a career in AI.

虽然面向初学者，但是这门课程也会讲解很多实践中的工程经验，所以这门课程既适合没有经验的同学从基础学起，也适合有一定基础的同学查遗补漏：

从实际听课的效果上来看，如果用一个字来总结效果，那就是“值”，花钱也值。该系列第一门课是“Neural Networks and Deep Learning（神经网络与深度学习）” 分为4个部分：

1. Introduction to deep learning
2. Neural Networks Basics
3. Shallow neural networks
4. Deep Neural Networks

第一周关于“深度学习的介绍”非常简单，也没有编程作业，只有简单的选择题练习，主要是关于深度学习的宏观介绍和课程的相关介绍：

第二周关于“神经网络基础”从二分类讲起，到逻辑回归，再到梯度下降，再到用计算图（computation graph ）求导，如果之前学过Andrew Ng的“Machine Learning(机器学习)” 公开课，除了Computation Graph, 其他应该都不会陌生：

第二周课程同时也提供了编程作业所需要的基础部分视频课程：Python and Vectorization。这门课程的编程作业使用Python语言，并且提供线上 Jupyter Notebook 编程环境完成作业，无需线下编程验证提交，非常方便。这也和之前机器学习课程的编程作业有了很大区别，之前那门课程使用Octave语言（类似Matlab的GNU Octave)，并且是线下编程测试后提交给服务器验证。这次课程线上完成编程作业的感觉是非常棒的，这个稍后再说。另外就是强调数据处理时的 Vectorization(向量化/矢量化），并且重度使用 Numpy 工具包, 如果没有特别提示，请尽量避免使用 "for loop":

当然，这部分最赞的是编程作业的设计了，首先提供了一个热身可选的编程作业：Python Basics with numpy (optional)，然后是本部分的相关作业：Logistic Regression with a Neural Network mindset。每部分先有一个引导将这部分的目标讲清楚，然后点击“Open Notebook”开始作业，Notebook中很多相关代码老师已经精心设置好，对于学生来说，只需要在相应提示的部分写上几行关键代码（主要还是Vectorization)，运行后有相应的output，如果output和里面提示的期望输出一致的话，就可以点击保存继续下一题了，非常方便，完成作业后就可以提交了，这部分难度不大：

第三周课程关于“浅层神经网络”的课程我最关心的其实是关于反向传播算法的讲解，不过在课程视频中这个列为了可选项，并且实话实话Andrew Ng关于这部分的讲解并不能让我满意，所以如果看完这一部分后对于反向传播算法还不是很清楚的话，可以脑补一下《反向传播算法入门资源索引》中提到的相关文章。不过瑕不掩瑜，老师关于其他部分的讲解依然很棒，包括激活函数的选择，为什么需要一个非线性的激活函数以及神经网络中的初始化参数选择等问题：

虽然视频中留有遗憾，但是编程作业堪称完美，在Python Notebook中老师用代入模式系统的过了一遍神经网络中的基本概念，堪称“手把手教你用Python写一个神经网络”的经典案例：

update: 这个周六（2017.08.20）完成了第四周课程和相关作业，也达到了拿证书的要求，不过需要上传相关证件验证ID，暂时还没有操作。下面是关于第四周课程的一点补充。

第四周课程关于“深度神经网络（Deep Neural Networks）”，主要是多层神经网络的相关概念，有了第三周课程基础，第四周课程视频相对来说比较轻松：

不过本周课程的提供了两个编程作业，一个是一步一步完成深度神经网络，一个是深度神经网络的应用，依然很棒：

完成最后的编程作业就可以拿到相应的分数和可有获得课程证书了，不过获得证书前需要上传自己的相关证书完成相关身份验证，这个步骤我还没有操作，所以是等待状态：

这是我学完Andrew Ng这个深度学习系列课程第一门课程“Neural Networks and Deep Learning（神经网络与深度学习）” 的体验，如果用几个字来总结这个深度学习系列课程，依然是：值、很值、非常值。如果你是完全的人工智能的门外汉或者入门者，那么建议你先修一下Andrew Ng的 Machine Learning(机器学习)公开课 ，用来过渡和理解相关概念，当然这个是可选项；如果你是一个业内的从业者或者深度学习工具的使用者，那么这门课程很适合给你扫清很多迷雾；当然，如果你对机器学习和深度学习了如指掌，完全可以对这门课程一笑了之。

关于是否付费学习这门深度学习课程，个人觉得很值，相对于国内各色收费的人工智能课程，这门课程49美元的月费绝对物超所值，只要你有时间，你完全可以一个月学完所有课程。 特别是其提供的作业练习平台，在尝试了几个周的编程作业后，我已经迫不及待的想进入到其他周课程和编程作业了。

最后再次附上这门课程的链接，正如这门课程的目标所示：掌握深度学习、拥抱AI，现在就加入吧：Deep Learning Specialization: Master Deep Learning, and Break into AI