Andrew Ng (吴恩达) 深度学习课程小结

Andrew Ng (吴恩达) 深度学习课程从宣布到现在大概有一个月了，我也在第一时间加入了这个Coursera上的深度学习系列课程，并且在完成第一门课“Neural Networks and Deep Learning（神经网络与深度学习）”的同时写了关于这门课程的一个小结：Andrew Ng 深度学习课程小记。之后我断断续续的完成了第二门深度学习课程“Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization"和第三门深度学习课程“Structuring Machine Learning Projects”的相关视频学习和作业练习，也拿到了课程证书。平心而论，对于一个有经验的工程师来说，这门课程的难度并不高，如果有时间，完全可以在一个周内完成三门课程的相关学习工作。但是对于一个完全没有相关经验但是想入门深度学习的同学来说，可以预先补习一下Python和机器学习的相关知识，如果时间允许，建议先修一下 Coursera 的Python系列课程：Python for Everybody Specialization 和 Andrew Ng 本人的 机器学习课程。

吴恩达这个深度学习系列课 (Deep Learning Specialization) 有5门子课程，截止目前，第四门"Convolutional Neural Networks" 和第五门"Sequence Models"还没有放出，不过上周四 Coursera 发了一封邮件给学习这门课程的用户：

Dear Learners,

We hope that you are enjoying Structuring Machine Learning Projects and your experience in the Deep Learning Specialization so far!

As we are nearing the one month anniversary of the Deep Learning Specialization, we wanted to thank you for your feedback on the courses thus far, and communicate our timelines for when the next courses of the Specialization will be available.

We plan to begin the first session of Course 4, Convolutional Neural Networks, in early October, with Course 5, Sequence Models, following soon after. We hope these estimated course launch timelines will help you manage your subscription as appropriate.

If you’d like to maintain full access to current course materials on Coursera’s platform for Courses 1-3, you should keep your subscription active. Note that if you only would like to access your Jupyter Notebooks, you can save these locally. If you do not need to access these materials on platform, you can cancel your subscription and restart your subscription later, when the new courses are ready. All of your course progress in the Specialization will be saved, regardless of your decision.

Thank you for your patience as we work on creating a great learning experience for this Specialization. We look forward to sharing this content with you in the coming weeks!

Happy Learning,

Coursera

大意是第四门深度学习课程 CNN（卷积神经网络）将于10月上旬推出，第五门深度学习课程 Sequence Models(序列模型, RNN等）将紧随其后。对于付费订阅的用户，如果你想随时随地获取当前3门深度学习课程的所有资料，最好保持订阅；如果你仅仅想访问 Jupyter Notebooks，也就是获取相关的编程作业，可以先本地保存它们。你也可以现在取消订阅这门课程，直到之后的课程开始后重新订阅，你的所有学习资料将会保存。所以一个比较省钱的办法，就是现在先离线保存相关课程资料，特别是编程作业等，然后取消订阅。当然对于视频，也可以离线下载，不过现在免费访问这门课程的视频有很多办法，譬如Coursera本身的非订阅模式观看视频，或者网易云课堂免费提供了这门课程的视频部分。不过我依然觉得，吴恩达这门深度学习课程，如果仅仅观看视频，最大的功效不过30%，这门课程的精华就在它的练习和编程作业部分，特别是编程作业，非常值得揣摩，花钱很值。

再次回到 Andrew Ng 这门深度学习课程的子课程上，第二门课程是“Improving Deep Neural Networks: Hyperparameter tuning, Regularization and Optimization"，有三周课程，包括是深度神经网络的调参、正则化方法和优化算法讲解：

第一周课程是关于深度学习的实践方面的经验 (Practical aspects of Deep Learning), 包括训练集/验证集/测试集的划分，Bias 和
Variance的问题，神经网络中解决过拟合 (Overfitting) 的 Regularization 和 Dropout 方法，以及Gradient Check等：

这周课程依然强大在编程作业上，有三个编程作业需要完成：

完成编程的作业的过程也是一个很好的回顾课程视频的过程，可以把一些听课中容易忽略的点补上。

第二周深度学习课程是关于神经网络中用到的优化算法 (Optimization algorithms），包括 Mini-batch gradient descent，RMSprop， Adam等优化算法：

编程作业也很棒，在老师循循善诱的预设代码下一步一步完成了几个优化算法。

第三周深度学习课程主要关于神经网络中的超参数调优和深度学习框架问题（Hyperparameter tuning , Batch Normalization and Programming Frameworks），顺带讲了一下多分类问题和 Softmax regression, 特别是最后一个视频简单介绍了一下 TensorFlow , 并且编程作业也是和TensorFlow相关，对于还没有学习过Tensorflow的同学，刚好是一个入门学习机会，视频介绍和作业设计都很棒：

第三门深度学习课程“Structuring Machine Learning Projects”更简单一些，只有两周课程，只有 Quiz, 没有编程作业，算是Andrew Ng 老师关于深度学习或者机器学习项目方法论的一个总结：

第一周课程主要关于机器学习的策略、项目目标（可量化）、训练集/开发集/测试集的数据分布、和人工评测指标对比等：

课程虽然没有提供编程作业，但是Quiz练习是一个关于城市鸟类识别的机器学习案例研究，通过这个案例串联15个问题，对应着课程视频中的相关经验，值得玩味。

第二周课程的学习目标是：

“Understand what multi-task learning and transfer learning are
Recognize bias, variance and data-mismatch by looking at the performances of your algorithm on train/dev/test sets”

主要讲解了错误分析（Error Analysis）， 不匹配训练数据和开发/测试集数据的处理（Mismatched training and dev/test set），机器学习中的迁移学习（Transfer learning）和多任务学习（Multi-task learning），以及端到端深度学习（End-to-end deep learning）：

这周课程的选择题作业仍然是一个案例研究，关于无人驾驶的：Autonomous driving (case study)，还是用15个问题串起视频中得知识点，体验依然很棒。

最后，关于Andrew Ng (吴恩达) 深度学习课程系列，Coursera上又启动了新一轮课程周期，9月12号开课，对于错过了上一轮学习的同学，现在加入新的一轮课程刚刚好。不过相信 Andrew Ng 深度学习课程会成为他机器学习课程之后 Coursera 上又一个王牌课程，会不断滚动推出的，所以任何时候加入都不会晚。另外，如果已经加入了这门深度学习课程，建议在学习的过程中即使保存资料，我都是一边学习一边保存这门深度学习课程的相关资料的，包括下载了课程视频用于离线观察，完成Quiz和编程作业之后都会保存一份到电脑上，方便随时查看。

索引：Andrew Ng 深度学习课程小记

注：原创文章，转载请注明出处及保留链接“我爱自然语言处理”：https://www.52nlp.cn

本文链接地址：Andrew Ng (吴恩达) 深度学习课程小结 https://www.52nlp.cn/?p=9761