AlphaGo的胜利，无人驾驶的成功，模式识别的突破性进展，人工智能的的飞速发展一次又一次地挑动着我们的神经。作为人工智能的核心，机器学习也在人工智能的大步发展中备受瞩目，光辉无限。

　　如今，机器学习的应用已遍及人工智能的各个分支，如专家系统、自动推理、自然语言理解、模式识别、计算机视觉、智能机器人等领域。

　　但也许我们不曾想到的事机器学习乃至人工智能的起源，是对人本身的意识、自我、心灵等哲学问题的探索。而在发展的过程中，更是融合了统计学、神经科学、信息论、控制论、计算复杂性理论等学科的知识。

　　

　　总的来说，机器学习的发展是整个人工智能发展史上颇为重要的一个分支。其中故事一波三折，令人惊讶叹服，颇为荡气回肠。

　　其中穿插了无数牛人的故事，在下面的介绍中，你将会看到以下神级人物的均有出场，我们顺着ML的进展时间轴娓娓道来：

　　

　　|基础奠定的热烈时期

　　20世纪50年代初到60年代中叶

　　Hebb于1949年基于神经心理学的学习机制开启机器学习的第一步。此后被称为 Hebb学习规则。Hebb学习规则是一个无监督学习规则，这种学习的结果是使网络能够提取训练集的统计特性，从而把输入信息按照它们的相似性程度划分为若干类。这一点与人类观察和认识世界的过程非常吻合，人类观察和认识世界在相当程度上就是在根据事物的统计特征进行分类。

　　从上面的公式可以看出，权值调整量与输入输出的乘积成正比，显然经常出现的模式将对权向量有较大的影响。在这种情况下，Hebb学习规则需预先定置权饱和值，以防止输入和输出正负始终一致时出现权值无约束增长。

　　Hebb学习规则与“条件反射”机理一致，并且已经得到了神经细胞学说的证实。比如巴甫洛夫的条件反射实验：每次给狗喂食前都先响铃，时间一长，狗就会将铃声和食物联系起来。以后如果响铃但是不给食物，狗也会流口水。

　　1950年， 阿兰·图灵创造了 图灵测试来判定计算机是否智能。图灵测试认为，如果一台机器能够与人类展开对话（通过电传设备）而不能被辨别出其机器身份，那么称这台机器具有智能。这一简化使得图灵能够令人信服地说明“思考的机器”是可能的。

　　

　　2014年6月8日，一台计算机（计算机尤金·古斯特曼是一个聊天机器人，一个电脑程序）成功让人类相信它是一个13岁的男孩，成为有史以来首台通过图灵测试的计算机。这被认为是人工智能发展的一个里程碑事件。

　　1952，IBM科学家 亚瑟·塞缪尔开发了一个 跳棋程序。该程序能够通过观察当前位置，并学习一个隐含的模型，从而为后续动作提供更好的指导。塞缪尔发现，伴随着该游戏程序运行时间的增加，其可以实现越来越好的后续指导。

　　通过这个程序，塞缪尔驳倒了普罗维登斯提出的机器无法超越人类，像人类一样写代码和学习的模式。他创造了“机器学习”，并将它定义为“可以提供计算机能力而无需显式编程的研究领域”。

　　1957年， 罗森·布拉特基于神经感知科学背景提出了第二模型，非常的类似于今天的机器学习模型。这在当时是一个非常令人兴奋的发现，它比Hebb的想法更适用。基于这个模型罗森·布拉特设计出了第一个计算机神经网络—— 感知机（the perceptron），它模拟了人脑的运作方式。

　　3年后， 维德罗首次使用Delta学习规则用于感知器的训练步骤。这种方法后来被称为 最小二乘方法。这两者的结合创造了一个良好的线性分类器。

　　

　　1967年， 最近邻算法（The nearest neighbor algorithm）出现，由此计算机可以进行简单的模式识别。kNN算法的核心思想是如果一个样本在特征空间中的k个最相邻的样本中的大多数属于某一个类别，则该样本也属于这个类别，并具有这个类别上样本的特性。该方法在确定分类决策上只依据最邻近的一个或者几个样本的类别来决定待分样本所属的类别。

　　

　　kNN的优点在于易于理解和实现，无需估计参数，无需训练，适合对稀有事件进行分类，特别适合于多分类问题（multi-modal，对象具有多个类别标签）， 甚至比SVM的表现要好。

　　Han等人于2002年尝试利用贪心法，针对文件分类实做可调整权重的k最近邻居法WAkNN （weighted adjusted k nearest neighbor），以促进分类效果；而Li等人于2004年提出由于不同分类的文件本身有数量上有差异，因此也应该依照训练集合中各种分类的文件数量，选取不同数目的最近邻居，来参与分类。

　　1969年 马文·明斯基将感知器兴奋推到最高顶峰。他提出了著名的XOR问题和感知器数据线性不可分的情形。

　　明斯基还把人工智能技术和机器人技术结合起来，开发出了世界上最早的能够模拟人活动的机器人Robot C，使机器人技术跃上了一个新台阶。明斯基的另一个大举措是创建了著名的“思维机公司”（Thinking Machines，Inc．），开发具有智能的计算机。

　　此后，神经网络的研究将处于休眠状态，直到上世纪80年代。尽管BP神经的想法由林纳因马在1970年提出，并将其称为“自动分化反向模式”，但是并未引起足够的关注。