人工智能、机器学习与深度学习入门

人工智能是什么

人工智能（Artificial Intelligence，AI）是让计算机完成通常需要人类智能参与的任务的一类方法和技术，例如感知、推理、学习、语言理解与内容生成。AI 是一个宽泛的领域，不等同于某一种模型或产品。

常见的 AI 系统可以基于明确编写的规则，也可以从数据中学习规律。现代语音识别、图像分类和生成式 AI，大多使用机器学习方法。

AI、机器学习与深度学习

这几个概念可以理解为由宽到窄的包含关系：

• 人工智能：研究如何让机器表现出智能行为。
• 机器学习（Machine Learning，ML）：让机器从数据中学习规律，而不是为每种情况手动编写规则。
• 深度学习（Deep Learning，DL）：使用多层神经网络学习复杂表示，是机器学习的一个分支。

例如，传统规则程序可以通过人工设定“邮件包含某些词就标记为垃圾邮件”；机器学习则从已标注的邮件样本中学习分类规律；深度学习可以进一步从文本本身提取更复杂的特征。

机器学习的基本流程

一个典型的机器学习项目通常包含以下步骤：

1. 定义问题：明确输入、输出和成功标准，例如预测用户是否会流失。
2. 收集与整理数据：处理缺失值、重复数据和格式不一致等问题。
3. 划分数据集：用训练集学习参数，用验证集选择模型或调整设置，用测试集评估最终效果。
4. 训练模型：模型根据训练样本调整内部参数，以减少预测结果与真实标签之间的误差。
5. 评估与改进：使用适合任务的指标检查模型表现，并分析错误案例。
6. 部署与监控：在真实场景中持续观察效果、延迟和数据变化。

测试集应尽量只用于最终评估。如果反复根据测试结果调整模型，就可能间接“记住”测试集，导致评估过于乐观。

常见学习方式

监督学习

训练数据中包含输入和对应的正确答案（标签）。模型学习从输入到标签的映射。

• 分类：预测类别，例如判断图片中是猫还是狗。
• 回归：预测连续数值，例如估计房屋价格。

无监督学习

数据没有预先提供的答案，模型尝试发现数据的结构或相似性。聚类是常见例子，可用于把行为相似的用户分组。

强化学习

智能体通过与环境交互获得奖励或惩罚，并学习选择行动的策略。它常用于需要连续决策的任务。强化学习不意味着模型会自动理解人类价值，奖励设计和环境设定仍然非常关键。

过拟合与泛化

过拟合是指模型过度适应训练数据中的细节甚至噪声，在训练数据上表现很好，但面对新数据时效果变差。泛化则是模型在未见过的数据上仍能做出可靠判断的能力。

可用于缓解过拟合的方法包括：

• 使用更多且更具代表性的训练数据。
• 降低模型复杂度或采用正则化。
• 通过交叉验证检查模型对不同数据划分的稳定性。
• 确保训练、验证和测试数据的划分符合实际使用场景，避免数据泄漏。

如何选择评估指标

准确率是预测正确的比例，但类别分布不均衡时可能产生误导。以少数类识别为例：

• 精确率（Precision）：被模型判为正类的样本中，实际为正类的比例。
• 召回率（Recall）：所有实际正类样本中，被模型找出的比例。
• F1 分数：精确率与召回率的调和平均。

指标选择应取决于错误的代价。漏掉疾病筛查中的高风险样本，与把正常样本误报为高风险，影响并不相同。

学习小结

• AI 是领域，机器学习是实现 AI 的重要方法，深度学习是机器学习的一个分支。
• 数据质量、问题定义和评估方式，与模型本身同样重要。
• 训练效果好不代表模型能处理新数据；需要可靠的数据划分和贴近实际目标的指标。
• 部署后仍需监控，因为真实数据可能随时间发生变化。