AI学习笔记-1

AI、机器学习之间的关系

AI（Artificial Intelligence）顾名思义就是人工创造出来的智能，跟人类一样的智能。这个概念很早就提出了，1956年 一堆科学家在达特茅斯会议（Dartmouth Conferences）上经过一个月的头脑风暴后提出。

那么智能包含哪方面呢，如何定义呢，这个仍然有一定争议，用朱松纯教授对目前人工智能领域的划分，可以大致分为六个：

（1） 计算机视觉（暂且把模式识别，图像处理等问题归入其中）

（2） 自然语言理解与交流（暂且把语音识别、合成归入其中，包括对话）

（3） 认知与推理（包含各种物理和社会常识）

（4） 机器人学（机械、控制、设计、运动规划、任务规划等）

（5） 博弈与伦理（多代理人agents的交互、对抗与合作，机器人与社会融合等议题）

（6） 机器学习（各种统计的建模、分析工具和计算的方法）

主要涉及人类智能的几个方面：如何处理视觉、语言、根据固有知识推理、社会性、学习认知、生物物理机械控制，六个方面。

人工智能在提出以后，并没有很快迎来大发展；而是迎着一条从以“推理”为重点，到以“知识”为重点，再到以“学习”为重点的自然、清晰的选择脉络前进。机器学习不仅仅是人工智能领域一个子领域，而是实现人工智能的一个手段，方法。机器学习在近30多年已发展为一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。广泛应用于数据挖掘、计算机视觉、自然语言处理、生物特征识别、搜索引擎、医学诊断、检测信用卡欺诈、证券市场分析、DNA序列测序、语音和手写识别、战略游戏和机器人等领域。

· 机器学习与深度学习之间的关系

机器学习可以分成下面几种类别：

• 监督学习从给定的训练数据集中学习出一个函数，当新的数据到来时，可以根据这个函数预测结果。监督学习的训练集要求是包括输入和输出，也可以说是特征和目标。训练集中的目标是由人标注的。常见的监督学习算法包括回归分析和统计分类。

• 无监督学习与监督学习相比，训练集没有人为标注的结果。常见的无监督学习算法有生成对抗网络（GAN）、聚类。

• 半监督学习介于监督学习与无监督学习之间。

• 增强学习通过观察来学习做成如何的动作。每个动作都会对环境有所影响，学习对象根据观察到的周围环境的反馈来做出判断。

什么是深度学习?

引用维基里面的定义，深度学习（deep learning）是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。

深度学习其实并不是什么技术，实际上来源于神经网络这一早年非常火的模型；现代术语“深度学习’’ 超越了目前机器学习模型的神经科学观点。它诉诸于学习多层次组合这一更普遍的原理，这一原理也可以应用于那些并非受神经科学启发的机器学习框架。

下面引用《深度学习》中的几幅图来说明深度学习于表征学习，机器学习，AI的关系

深度学习与别的算法在特征在的主要区别，可以看出深度学习增加了额外的一个特征层。

深度学习网络与“典型”的前馈多层网络之间是有一些区别的，如下：

· 深度学习网络比之前的网络有更多的神经元

· 深度学习网络具有更复杂的连接层的方式

· 深度学习网络需要用强大的计算能力来训练

· 深度学习网络能够进行自动特征提取

因此深度学习可以被定义为在以下四个基本网络框架中拥有大量参数和层的神经网络：

· 无监督预训练网络（Unsupervised Pre-trained Networks）

· 卷积神经网络（Convolutional Neural Networks）

· 循环神经网络（Recurrent Neural Networks）

· 递归神经网络 （Recursive Neural Networks）

· 深度学习的限制

1. 深度学习并不是机器学习的全部，更不是人工智能的同义词

2. 没有一个深度学习网络结构（卷积、RNN、RNN + LSTM、GAN 等）可以解释其自身的决策

3. 法律风险：2018年5月25日起，公司或个人在收集 28 个欧洲国家公民数据时应遵循《一般数据保护条例》（GDPR）。届时欧洲的一些APP将被禁止使用深度学习

· 参考书目

深度学习–概念与基础：

【fast peace】（偏向概念介绍，introduction）：

1. 深度学习wiki

【hard way】（偏向概念解释，数学推导，基本原理）：

两本经典中的经典书籍：第一本倾向于理论阐述，第二本则是倾向于直观解释。

1. Deep Learning

2. Neural Networks and Deep Learning

第三本则是代码应用向的，使用Theano从零搭建各种常见的网络结构，虽然是Theano，但是基本思想是统一的。

3. Deep Learning Tutorials

TensorFlow：

【fast peace】（偏向应用性质，到手即用，pretrained-models，tflearn，keras等）：

· TensorFlow的白皮书，对TensorFlow的整体有个把握或者说印象是很有必要的，对后期的“图编程”，优化，都很有启发。

· TFLearn，基于TensorFlow的高级API，不需要了解太多细节，应用向的可以直接看这个。

· TFSlim，基于TensorFlow的高级API，和TensorFlow契合度更好。

· Keras，高级API，后端可以使用TensorFlow（默认）

【hard way】（偏向理论性质，调用基本API手写，自定义layer，自定义kernel，自定义optimizer等）：

· 官网教程，Get Start，Programmer’s guide，Tutorials，Performance过一遍。

· Google的Udacity课程

· Stanford的CS20SI课程

· 《深入理解 TensorFlow：架构设计与实现原理》

· Keras中文文档

· MNIST机器学习入门

· 深入MNIST - TensorFlow 官方文档中文版

· （推荐）Stanford的CS 20SI课程，专门针对TensorFlow的课程，Tensorflow for Deep Learning Research

· （推荐）TensorFlow 实战Google深度学习框架 第2版（喜欢阅读中文资料的可以先看这本书）

· 两本书籍：TensorFlow Machine Learning Cookbook以及TensorFlow for Machine Intelligence，这两本网络均有pdf版本，请自行搜索。

· Udacity公开课，深度学习

· （推荐）三日入门TensorFlow，直接搜索即可找到资源

· （推荐参考）Awesome TensorFlow

8. 论文阅读路线图【hard way】： github上有个很有名的Deep Learning papers reading roadmap，已经过万stars，从事深度学习科研者的必读清单，在我写的上一篇学习之路中，虽然整理了很多论文，但是过于杂乱，在此就不做引用啦。