第七章,机器学习
第七章 机器学习第一节 机器学习的定义和发展历史 机器学习是继专家系统之后人工智能应用的又一重要研究领域，也是人工智能和神经计算的核心研究课题之一。
什么是学习 顾名思义,机器学习是研究如何使用机器来模拟人类学习活动的一门学科。
稍为严格的提法是：机器学习是一门研究机器获取新知识和新技 能,并识别现有知识的学问。
西蒙（Simon,1983）：学习就是系统中的适应性变化，这种变化使系统在重复同样工作或类似工作时，能够做得更好。
明斯基（Minsky,1985）：学习是在人们头脑里（心理内部）有用的变化。
学习是一个有特定目的知识获取和能力增长过程，其内在行为是获得知识、积累经验、发现规律等，其外部表现是改进性能、适应环境、实现自我完善等。
机器学习是研究如何使用机器来模拟人类学习活动的一门学科。
机器学习的任务 根据有限样本集 Q，推算这个世界 W 的模型，使得其对这个世界为真。
机器学习的三要素 一致性假设：假设世界 W 与样本集 Q 具有某种相同性质机器学习的条件。
2 样本空间划分：将样本集放到一个 n 维空间，寻找一个决策面(等价关系)，使得问题决定的不同对象被划分在不相交的区域。
泛化能力：从有限样本集合中获得的规律是否对学习集以外的数据仍然有效。泛化能力 决定模型对世界的有效性。
机器学习的发展史 机器学习源自“人工智能” 第一阶段：推理期 1956-1960s:Logic Reasoning 出发点：“数学家真聪明！” 主要成就：自动定理证明系统 渐渐地，研究者们意识到，仅有逻辑推理能力是不够的…… 第二阶段：知识期 1970s-1980s: Knowledge Engineering 出发点：“知识就是力量！” 主要成就：专家系统 渐渐地，研究者们发现，要总结出知识再教给系统，实在太难了…… 第三阶段：学习期 1990s-now: Machine Learning 出发点：“让系统自己学！” 主要成就：…… 机器学习是作为“突破知识工程瓶颈”之利器而出现的机器学习已经“无处不在”
3 第 二 节 机器学习的定义和发展历史 机器学习的主要策略与基本结构 学习的过程是建立理论、形成假设和进行归纳推理。
环境和知识库是以某种知识表示形式表达的信息的集合，分别代表外界信息来源和系统具有的知识。“学习环节”和“执行环节”代表两个过程。
“环境”向系统的“学习环节”提供某些信息，而“学习环节”则利用这些信息对系统的“知识库”进行改进，以增进系统“执行环节”完成任务的效能。
“执行环节”根据知识库中的知识来完成某种任务，同时把获得的信息反馈给“学习环节”。
影响学习系统设计的要素 环境：环境向系统提供信息的水平（一般化程度）和质量（正确性） 知识库：表达能力，易于推理，容易修改，知识表示易于扩展。
第 三 节 归纳学习 归纳学习的模式和规则 归纳学习是目前研究得最多的学习方法，其学习目的是为了获得新概念、构造新规则或发现新理论。
归纳是人类拓展认识能力的重要方法，是一种从个别到一般的，从部分到整体的推理行为。
4 由于在进行归纳时，多数情况下不可能考察全部有关的事例，因而归纳出的结论不能绝对保证它的正确性，只能以某种程度相信它为真，这是归纳推理的一个重要特征，归纳推理不是保真的（前提为真，结论不一定为真） 根据归纳学习有无教师指导，可把它分为 示例学习（有师学习）：给学习者提供某一概念的一组正例和反例，学习者归纳出一个总的概念描述（规则），并使这个描述适合于所有的正例，排除所有的反例。
观察发现学习（无师学习）：
概念聚类：按照一定的方式和准则分组，归纳概念 机器发现：从数据和事例中发现新知识 归纳学习的一般模式（1）观察陈述（事实）F，用以表示有关某些对象、状态、过程等的特定知识（2）假定的初始归纳断言（可能为空）（3）背景知识，用于定义有关观察陈述、候选归纳断言以及任何相关问题领域知识、假设和约束，其中包括能够刻画所求归纳断言的性质的优先准则。
求：归纳断言（假设）H，能重言蕴涵观察陈述，并满足背景知识 假设 H永真蕴含事实 F，说明 F是 H的逻辑推理，则有 H|>F（H特殊化为 F）另一种形式：F| 5 这里，从 H推导 F是演绎推理，因此是保真的；而从事实 F推导出假设 H是归纳推理，因此不是保真的，而是保假的。 执行过程描述 首先由施教者给实例空间提供一些初始示教例子，由于示教例子在形式上往往和规则形式不同，因此需要对这些例子进行转换，解释为规则空间接受的形式。然后利用解释后的例子搜索规则空间，由于一般情况下不能一次就从规则空间中搜索到要求的规则，因此还要寻找一些新的示教例子，这个过程就是选择例子。程序会选择对搜索规则空间最有用的例子，对这些示教例子重复上述循环。如此循环多次，直到找到所要求的例子。 归纳学习方法 归纳概括规则 在归纳推理过程中，需要引用归纳规则。这些规则为选择性概括规则和构造性概括规则。令 D1 和 D2 分别为归纳前后的知识描述，则归纳是 D1->D2。如果只对基本单元D1 有所取舍，或改变连接关系，那么就是选择性概括；若 D2中有新的描述基本单元（如反应各单元间的某种关系的新单元），那么就称之为构造性概括。两种概括的区别：后者能够构造新的描述符或属性。 选择性概括规则 取消部分条件 放松条件 沿概念树上溯 形成闭合区域 将常量转化为变量 构造性概括规则 设 CTX、CTX1和 CTX2表示任意描述，K表示结论，则有几条常用的选择性规则（1）取消部分条件
