6-机器学习启蒙- 深度学习: 图像搜索

6- 深度学习: 图像搜索

github: https://github.com/mtianyan/graphLabStartedML

深度学习: 图像搜索

基于图片的相似度来选购商品

可视化商品推荐

我想买双新鞋，但是。。。

符合我的风格，我又感兴趣的鞋子真不容易

文本搜素不能帮助我们

搜素时装鞋，只能找到一双我们觉得有意思的。而我想找的是真正有个性不同的鞋子
可我又不知道用什么关键字搜索，用图像的特征找到相似的鞋子

神经网络

特征是机器学习的关键

在做机器学习时我们一般会有输入值，比如情感分析中的评价语句

目标；重新检视分类器，但是应用更复杂的非线性特征

图像分类

我们的目标是从一个图像出发。

输入图像的像素，输出预测的对象值。

分出狗狗的品种。

特征指的是我们的数据的表现形式，我们把他们当做输入送入分类器。

数据有很多种表现形式:

• 比如文字，就可以用词袋模型和tf-idf的形式。
• 对于图片也有很多其他的表现形式。

神经网络: 学习"非常" 非线性的特征

线性分类器

线性分类器区分开正类和负类

分类器的图表示: 用于定义神经网络

对于每一个特征变量我们都有一个与之对应的特征节点，直到第d个特征变量。

对于我们要预测的输出值y我们也有一个节点来对应。

将特征节点与权重相乘然后累加得到分数。

分值大于零时我们输入1，分值小于0时我们输出0

小型线性分类器，小型神经网络或单层神经网络。

线性分类器可以表示什么？

逻辑的或运算可以用线性分类器来表示。

定义一个打分函数，在后三行的情况下输出正值，值大于0即可。

• 第一行时值小于0

权重为 -0.5 1 1 时满足条件。

与运算，只有x1 和x2 都等于1的时候才能大于0

单层神经网络来表示逻辑与运算和或运算。

线性分类器不能表示什么？

在这个函数中没有哪条线能将加号，减号分割开。

异或运算: 任何事情的反例

我们之前讲过的线性特征就不够用了，我们需要一些非线性的特征

解决XOR问题: 添加一层

XOR结果为1的情况是x1为真，x2为假 或 x1为假，x2为真时

添加两个单元。z1,z2

我们要做的是建立一个神经网络:

• 不能直接输入x1，x2预测y，但是它能预测中间值z1,z2
• 然后我们再通过中间值来预测y

与运算:

z1：节点1的权重-0.5， x1权重1，因为是not x2权重-1
z2: 节点1权重-0.5， x1权重-1，x2权重1

此时当x1 x2全为真时: x1*1为1 x2*1为-1加起来为0，而我们需要的值是此时小于0.所以常数项-0.5

其他情况略。

神经网络

对数据进行多层次的变换。

有多层的线性和非线性变换

神经网络已经被发明接近50年了

• 在90年代进入低谷

大约十年前，最近几年有了大的复兴

• 在一些典型问题的准确率大大提升

• 大量的数据集，(计算能力)gpu和新的建模学习算法使它如虎添翼

深度学习在计算机视觉中的应用

图像特征

特征 = 局部探测器

• 组合在一起构成预测
• 现实中，特征都是很底层的

鼻子探测器，眼睛探测器，嘴巴探测器。

如果每个探测器都探测成功，就可以通过这个小型神经网络做出预测这是个人脸。

典型的局部探测器寻找图像中的局部兴趣点

图像特征: 局部兴趣点的组合

• 组合在一起构成分类器

角落探测器

有很多手工构造的特征被用于寻找兴趣点

SIFT特征

典型图像分类方法

根据sift特征被激活的地方构成向量。这些特征在有些地方激活，有些地方不激活

这跟寻找一篇文章的单词是类似的。

图像特定的地方有没有特定的角，然后就可以把这些信息输入到分类器

线性识别分类器: 告诉我们是否是人脸

挑战在于这些人工的特征很难设计

深度学习: 自动学习特征

输入到一个三层的神经网络

识别这些局部神经探测器，每一层都会发现这些特征。在不同的层次探测不同的图像性质。

• 第一个探测器作用:
  • 找到对角线的边缘
  • 中间是从另外一个方向抓取对角线边缘
  • 最后一个抓取过渡特征，从深色到绿色的变化
• 第二个探测器: 会把这些对角线边缘综合起来形成更复杂的探测器

发现弯弯曲曲的线，一些角

• 第三个探测器会更为复杂，识别出脸蛋

深度学习的性能

应用深度学习神经网络的结果示例

• 德国交通信号识别问题

99.5%准确率(IDSIA团队)

• 房屋门牌号识别(google 街景)

每个字符97.8%准确率

ImageNet2012竞赛: 120万张训练图像，1000种类别

对于图片进行分类，不是识别是不是一条狗，而是这个狗是啥品种的问题

superVision团队采用了深度神经网络，大幅度超过对手

大大提高了大家对于深度学习网络在计算机视觉领域应用的兴趣。

8层的神经网络，有6000万个参数

获得这种惊人的结果需要:

1. 新的学习算法
2. GPU实现

计算机视觉中的深度学习

识别图片中狗的品种

利用深度学习进行景物解析

每个像素进行分类，发现特定的区域。天空区域，草坪区域。

这类景物解析，也称为场景理解。

神经网络对于这种需求非常有效

检索相似图像

我们输入一张自己中意的鞋子的图片，输出风格等类似的鞋子的图片

深度学习的挑战

使学习特征成为可能，而不是手动的去调节

卓越的性能提升:
- 计算机视觉
- 语音识别
- 一些文本分析

潜在更多的影响

深度学习工作流

需要大量的标注数据，包含哪种狗。(人工标注)

• 划分训练集和验证集。学习深度神经网络之后进行验证。

验证发现不符合，我们又需要进行修改模型。我们需要不停的迭代

很多技巧可以让结果更好

• 不同类型的层和连接
• 可以提供高准确率

不同特征的层和很多复杂的细节。

深度学习的劣势

为了达到高准确率，需要非常多的数据
计算特别昂贵
非常难调节模型
- 架构的选择(层数)
- 参数类型
- 元参数
- 学习算法

昂贵的计算成本+太多的选择 = 模型非常难以调节

深度特征: 深度学习 + 迁移学习

帮助建立神经网络，甚至当你没有很多数据的时候都可以建立。

标准图片分类方法

我们能不能从数据中学习特征。

迁移学习: 应用一个任务的数据来帮助学习其他任务

很老的方法

在你拥有很多的数据的时候，训练神经网络。

如果我们有一个区分猫和狗的任务，我们训练了一个八层1600个参数的复杂网络。
最后我们得到了一个非常准确的猫狗分类器。

假如我们有了新的任务，此时我们只拥有很少量的数据。检测椅子大象，相机等

我们使用从猫狗神经网络中学习到的特征再加上一个简单的分类器，来获取一个对于101个类别上的高准确率

这就是迁移学习，我们在猫狗中学习到的特征可以被迁移到新的任务中。

神经网络学习了什么?

我们更改一下学习方法。对于猫狗分类而言这个网络非常准确。
最后的几层: 主要用于猫和狗的分类。

就跟之前例子中最后一层进行颜色检测

中间的层很一般化，代表角落检测，弯弯曲曲的画面等。

转换学习细节

对于任务2，要预测101个类别，只需要学习神经网络的末端

把最后这一块中专门针对猫和狗的部分剔除掉。

保持前面各层的权重固定。

利用这些特征再加上一个简单的分类器。

我们就能用很少的椅子汽车大象等图片数据来训练一个模型

注意分割点，后面的层可能太特定于任务了

应用深度特征的迁移学习流程

深度特征的通用性有多强？

垃圾回收

垃圾车挨个回收路径优化。

深度学习总结

以前的回归，分类，机器学
输入图像和相应的标签，标签是要么是一只猫，要么是一只狗，或者是一个房子。

特征提取: 采用深度特征进行特征提取。

输出的是图片和图片的深度特征X

使用机器学习模型来分类这类特征。拿出我们预测的标签y帽子和真正的标签y。在性能度量中。

y y帽子 性能度量取决于你的任务。(我们本次的任务中使用了分类准确率)

这时的w帽子才是真正的逻辑回归的权重参数

机器学习要做的是保证分类准确率，尝试改变和更新w帽子来使准确率更高

我们学到了

• 描述多层神经网络模型
• 解释在计算机视觉中特征作为局部探测器的作用
• 神经网络和手动构建的特征的关系
• 描述了深度学习获得成功的一些场景
• 深度学习模型的优势和劣势
• 应用转换学习的概念
• 应用一个领域训练的神经网络作为特征来构建另一个领域的模型
• 应用深度特征构建图像检索工具

深度学习实践

见jupyter notebook

深度学习图片检索工具