机器学习，是人工智能的一个分支。人工智能的研究历史有着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的脉络。显然，机器学习是实现人工智能的一个途径，即以机器学习为手段解决人工智能中的问题。机器学习在近30多年已发展为一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析（Convex analysis）、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。机器学习算法是一类从数据中自动分析获得规律，并利用规律对未知数据进行预测的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。很多推论问题属于无程序可循难度，所以部分的机器学习研究是开发容易处理的近似算法。

机器学习已广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等领域。

定义

机器学习有下面几种定义：

• 机器学习是一门人工智能的科学，该领域的主要研究对象是人工智能，特别是如何在经验学习中改善具体算法的性能。
• 机器学习是对能通过经验自动改进的计算机算法的研究。
• 机器学习是用数据或以往的经验，以此优化计算机程序的性能标准。

一种经常引用的英文定义是：A computer program is said to learn from experience E with respect to some class of tasks T and performance measure P, if its performance at tasks in T, as measured by P, improves with experience E.

分类

机器学习可以分成下面几种类别：

• 监督学习从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类。

监督学习和非监督学习的差别就是训练集目标是否人标注。他们都有训练集 且都有输入和输出

• 无监督学习与监督学习相比，训练集没有人为标注的结果。常见的无监督学习算法有生成对抗网络（GAN）、聚类。
• 半监督学习介于监督学习与无监督学习之间。
• 增强学习机器为了达成目标，随着环境的变动，而逐步调整其行为，并评估每一个行动之后所到的回馈是正向的或负向的。

算法

具体的机器学习算法有：

• 构造间隔理论分布：聚类分析和模式识别
  • 人工神经网络
  • 决策树
  • 感知器
  • 支持向量机
  • 集成学习AdaBoost
  • 降维与度量学习
  • 聚类
  • 贝叶斯分类器
• 构造条件概率：回归分析和统计分类
  • 高斯过程回归
  • 线性判别分析
  • 最近邻居法
  • 径向基函数核
• 通过再生模型构造概率密度函数：
  • 最大期望算法
  • 概率图模型：包括贝叶斯网和Markov随机场
  • Generative Topographic Mapping
• 近似推断技术：
  • 马尔可夫链
  • 蒙特卡罗方法
  • 变分法
• 最优化：大多数以上方法，直接或者间接使用最优化算法。

• 人工智能
• 强人工智能

• 艾伦·图灵
• 图灵测试

• 人工生命
• 人工智能哲学
• 认知神经科学
• 电脑围棋
• 恐怖谷理论
• 电子世界争霸战
• 电脑科学
• 认知科学
• 意识
• 语义学
• 技术奇异点
• 集体智慧
• 控制论
• 心理学
• 生物化学计算机（例：人脑）
• 国际人工智能联合会议
• 网络本体语言（OWL）
• 游戏树

• 计算智能
• 数据挖掘
• 模式识别
• 自主控制机器人
• 归纳逻辑编程
• 决策树
• 神经网络
• 强化学习
• 贝叶斯学习
• 最近邻居法
• 计算学习理论
• 深度学习
• 机器学习控制

• 机械电子学
• 控制论
• 无人航空载具（俗称无人飞机）
• 认知科学
• 动力服
• 个人电脑
• 超级计算机
• 互联网
• 机器人三定律（Three Laws of Robotics）

• 技术性失业