课程主页: https://www.coursera.org/learn/prediction-control-function-approximation
随着人工智能的迅速发展，强化学习已经成为热门的研究方向。如果您对如何解决更高维度、可能是无限状态空间内的问题感到好奇，那么Coursera上的《预测与控制的函数逼近》课程将是一个不错的选择。
这个课程是阿尔伯塔大学和Onlea合作开发的，系列课程中着重分析利用函数逼近解决强化学习挑战的方法。在这里，您将学习如何将价值函数的估计视为一个监督学习问题，同时还将看到如何平衡在更广泛的空间中的泛化与细分来 maximize回报。
课程内容大致可分为几个主要模块：
- 引言与课程概述：第一个模块为新生介绍课程师资，对后面的学习形成良好的预备认知。
- 基于当前策略的近似效果评估：教授如何在可用内存远小于状态数时，评估价值函数以及应用梯度下降法进行价值函数估计。
- 构造预测特征：学习如何构造特征，从任务效率上就能够对状态与采取的动作形成智慧递归。这个模块令人振奋，通过实例进行详解，课程中会利用神经网络常见的反向传播方法，应对无限状态任务。
- 基于内推记忆的控制：扩展经典的TD控制方法到函数近似，可以使您在构建新模型时更加游刃有余。您将掌axi优化∞状态MDP的策略，理解Q-学习和Sarsa的实用价值。
- 策略梯度处理：此部分学习如何直接估算策略而非价值函数，每个算法都有其仿真以及常用优缺点及解决方案，是提升思维方式的重要一环。
这门课程需要您具备基本的数理统计与编程能力，包括了解基本的机器学习与强化学习知识，因此相对进阶，适合想通过强化学习提高策略控制能力的学者和研究者。如果您希望借助数学理论与控制能量展续攻略问题，这个学习项目一定能带来突破!
整体而言，“预测与控制的函数近似”课程非常值得推荐。它不仅提供专业知识和实际操作指南，还有助于深化您对任务和开发者操作思维之间的认识，推动我们一起进入前沿解决方案的世界。
课程主页: https://www.coursera.org/learn/prediction-control-function-approximation