01 课程介绍 + 基础概念

• 理论：从「人工智能是什么」这一核心问题出发，讲解人工智能与数据科学的基本概念、发展历史，探讨其现状对科学研究的影响、意义和风险等。

  课程安排介绍；讲解基础知识，厘清重要概念，如机器学习、统计学习、监督学习等；重要数学概念回顾。

• Lab：完成课程所需环境配置；学习并回顾 Python 基础知识和库的使用

02 从统计学习说开去

• 理论：统计学习作为传统的数据科学手段，其在今天仍有重大的理论意义和广泛的应用场景。

  统计学习案例；线性回归；分类模型。

• Lab：学习 Python 中常见的数据结构；学习使用Pandas，NumPy，Seaborn，Matplotlib 对数据集进行分析；学习使用 Sklearn 对 Nasdaq 数据集进行回归分析；学习使用 Sklearn 中的分类模型分析 Nasdaq 数据集。

  
  

03 重采样、正则化与模型选择

• 理论：经典线性回归手段虽然简单易用，但仍有较大局限性。

  交叉验证、自举；子集选择；降维方法；高维数据。

• Lab：学习使用 Sklearn 中的 Kmeans 和 GMM 模型；学习使用 Sklearn 中的cross-validation, Bootstrap, subset selection, shrinkage methods, dimension reduction methods 等

04 迈向非线性

• 理论：当线性模型无法解决我们的问题，或许可以跳出线性框架，探索更多可能。

  其它回归模型；样条曲线；树模型方法；支持向量机；初探非监督学习，PCA与聚类模型。

• Lab:：学习使用 Sklearn 中的 polynomial regression与regression splines；学习使用 Sklearn 中的 Kmeans 和 GMM 模型；学习 Sklearn 中的集成模型，包括 gradient boosting, random forests 和 bagging；学习使用 Sklearn 中的 SVM

  
  

05 线性代数并不可怕

• 理论：数学知识是统计学习与人工智能的基础，线性代数更是重中之重。

  线性代数；多元微积分。

• Lab：学习使用 Numpy 进行矩阵操作；学习多元正态分布的性质

06 再谈监督学习

• 理论：当代深度学习从监督学习开始，我们以此为起点，沿着深度学习的发展脉络向前。

  监督学习；浅层神经网络；深层神经网络；损失函数；梯度下降。

• Lab：使用 Pytorch 搭建简单的神经网络；动手搭建 AlexNet；探索损失函数的作用

07 衡量模型与再突破

• 理论：尽管深度学习一度取得了突破性进展，但摆在其面前的是更难逾越的障碍；另外，如何衡量一个模型的好坏似乎也并没有看起来那么简单。

  梯度与初始化；正则化；卷积神经网络。

• Lab：探索初始化和正则化在模型训练中的影响；使用 PyTorch 搭建简单的卷积神经网络

08 从语言到大模型

• 理论：卷积神经网络为视觉与图像领域带来了巨大突破，但文字处理似乎需要另一种手段。残差网络；Transformer；GNN；再谈无监督学习，GAN 和 Autoencoder

• Lab：使用 Pytorch 搭建简单的 Transformer 模型

09 前沿进展与思考

• 理论：近几年随着算力爆炸，AI 领域有了更惊人的发展，AGI 似乎指日可待，但果真如此吗？Diffusion models；强化学习；深度学习为什么能有用；关于 AI 的思考

• Lab：Paper presentation