估计很多同学的第一反映是李宏毅老师的“深度学习人类语言处理”课程,不过这次我们说的是台湾大学陈蕴侬老师的“应用深度学习”课程,这门课程我们之前在AINLP公众号上推荐过,不过主要给大家推荐的是课程视频和课件资源。前段时间,我把这门课程放在了B站上,并花了一点时间看了一下这门课程,觉得这门课程完全可以叫做“深度学习自然语言处理”,因为基本上就是讲得深度学习NLP的事情。个人觉得这门课程结构安排得相当合理,并且重点在BERT及其相关的内容和NLP任务上,对于学习深度学习自然语言处理的同学来说,完全可以和李宏毅老师深度学习人类语言处理的课程互补。
课程主页:
https://www.csie.ntu.edu.tw/~miulab/s108-adl/
B站传送门:
https://www.bilibili.com/video/BV1Mi4y1V7A1
课程视频及课件网盘链接,请关注AINLP公众号并回复"ADL2020"获取:
让我们来看看这门课程的目录吧:
P1 Lecture 1.1 - What is ML什么是机器学习
P2 Lecture 1.2 - What is DL什么是深度学习
P3 Lecture 1.3 - How to Apply如何应用深度学习
P4 Lecture 2.1 - How to Train a Model如何训练模型
P5 Lecture 2.2 - What is Model什么是模型
P6 Lecture 2.3 - What does the 'Good' Function Mean什么叫做好的Function呢
P7 Lecture 2.4 - How can we Pick the 'Best' Function如何找出最好的Function
P8 Lecture 2.5 - Backpropagation效率地计算大量参数
P9 TA Recitation - Optimization
P10 Lecture 3.1 - Word Representations
P11 Lecture 3.2 - Language Modeling语言模型
P12 Lecture 3.3 - Recurrent Neural Network详细解析
P13 Lecture 3.4 - RNN Applications RNN各式应用
P14 TA Recitation - Practical Tips
P15 Lecture 4.1 - Attention Mechanism注意力机制
P16 Lecture 4.2 - Attention Applications注意力的各式应用
P17 Assignment 1 Tutorial
P18 Lecture 5.1 - Word Representation Review词向量各式表示法
P19 Lecture 5.2 - Word2Vec词向量
P20 Lecture 5.3 - Word2Vec Training如何训练词向量
P21 Lecture 5.4 - Negative Sampling
P22 Lecture 5.5 - Word2Vec Variants各种训练的变化方式
P23 Lecture 5.6 - GloVe词向量
P24 Lecture 5.7 - Word Vector Evaluation如何评价词向量的好坏
P25 Lecture 5.8 - Contextualized Word Embeddings前后文相关之词向量
P26 Lecture 5.9 - ELMo芝麻街家族之起源
P27 Lecture 6.1 - Basic Attention基本注意力模型复习
P28 Lecture 6.2 - Self Attention新注意力机制
P29 Lecture 6.3 - Multi-Head Attention
P30 Lecture 6.4- Transformer
P31 Lecture 6.5- BERT进击的芝麻街巨人
P32 TA Recitation- More on Embeddings
P33 Lecture 7.1 - Transformer-XL处理超长输入的Transformer
P34 Lecture 7.2 - XLNet兼顾AR及AE好处的模型
P35 Lecture 7.3 - RoBERTa,SpanBERT,XLM简单有用的改进方法
P36 Lecture 7.4- ALBERT如何让BERT缩小却依然好用呢
P37 TA Recitation - More on Transformers
P38 Lecture 8.1- Deep Reinforcement Learning Introduction
P39 Lecture 8.2- Markov Decision Process
P40 Lecture 8.3- Reinforcement Learning
P41 Lecture 8.4- Value-Based RL Approach
P42 Lecture 8.5- Advanced DQN
P43 Lecture 9.1- Policy Gradient
P44 Lecture 9.2- Actor Critic
P45 Lecture 10.1- Natural Language Generation
P46 Lecture 10.2- Decoding Algorithm
P47 Lecture 10.3- NLG Evaluation
P48 Lecture 10.4- RL for NLG(20-05-12)
P49 TA Recitation- RL for Dialogues
P50 GAN(Quick Review)
P51 GAN Lecture 4(2018)- Basic Theory
P52 GAN Lecture 6(2018)- WGAN,EBGAN
P53 Lecture 11.1- Unsupervised Learning Introduction
P54 Lecture 11.2- Autoencoder & Variational Autoencoder
P55 Lecture 11.3- Distant Supervision & Multi-Task Learning
P56 Lecture 12.1- Conversational AI Introduction对话AI简介
P57 Lecture 12.2- Task-Oriented Dialogues任务型对话
P58 Lecture 12.3- Chit-Chat Social Bots聊天型对话
P59 Lecture 13.1- Robustness对话系统的强健性
P60 Lecture 13.2- Scalability对话系统的扩展性
P61 Final Project- Rules & Grading
P62 Career Sharing求学经验分享
最后,不得不说台大的公开课的质量还是很高的,无论是李宏毅老师,还是陈蕴侬老师的课程,对于需要中文视频课程的同学来说都是非常值得珍惜的。