机器学习和图像识别如何彻底改变搜索

文档中的文本很容易搜索，但其他格式的信息很多。语音识别将音频和视频音轨转换为可索引和搜索的文本。但是视频本身或其他图像呢？

如果在网页上搜索图像将是非常准确的，而不是仅仅在页面上寻找文本，或者在暗示图片相关的字幕中，搜索引擎实际上可以识别图片中的内容。得益于使用神经网络和深度学习的机器学习技术，这变得更加可实现。

当微软和facebook的一个研究团队创建了一个由300，000多幅图像组成的大规模数据转储，其中有250万个被人们标注的对象(在上下文中称为公共对象)，他们说所有这些物体都是四岁儿童能够识别的东西。因此，微软的一个机器学习研究团队决定，看看他们的系统如何处理相同的图像--不仅要识别它们，还要把它们分解成不同的对象，给每个物体取一个名字，并写一个标题来描述整个图像。

为了测量结果，他们要求一组人写自己的字幕，另一组用来比较他们喜欢的那两个。

"真正的质量度量是什么，"解释了来自MicrosoftResearch的杰出科学家JohnPlt."人们认为这些字幕有多好?他们认为我们的23%的时间至少和人们为字幕写的一样好。这意味着机器达到了与人一样好的水平。"

问题的一部分是视觉识别器。有时会把一只猫误认为狗，或者认为长发是一只猫，或者决定在一个雕塑的人的照片里有一个足球。这只是一个小团队在夏天能在四个月内建造的，而这是他们第一次贴了一套这样的图像来训练和测试。

“我们可以做得更好，”普拉特自信地说。

机器学习已经在简单的图像上做得更好，只有在框架中只有一件事。"这些系统变得像未经训练的人一样好，"铂类索赔。对一组被称为IMAGENET的图片进行测试，这些图片被标记为显示它们如何适合22,000种不同的类别。

"这包括一些非常精细的区别，没有受过训练的人不知道，"解释说，"就像彭布罗克威尔士科尔吉斯和开衫威尔士科尔吉斯一样，其中一个有更长的尾巴。一个人可以看一系列的corgis，并学会辨别它们之间的差别，但是事先他们不知道。如果有你熟悉的对象，你可以很容易地认出他们，但是如果我向你展示了22,000个奇怪的对象，你可能会把它们都混合起来。"的人类错了大约5%的时间，imaGenet测试和机器学习系统下降到大约6%。

这意味着机器学习系统可以更好地识别像狗品种或有毒植物这样的东西，而不是普通的人。另一个名为“项目ADAM”的识别系统，MSR负责人彼得·李今年早些时候表示，试图从你的手机中做到这一点。

Adam项目正在研究是否可以通过在多台计算机上分发系统来提高图像识别的速度，而不是在一台快速计算机上运行它(这样它就可以在云中运行并与您的手机一起工作)。然而，它是在图像上训练的，里面只有一件东西。

“他们问‘这张图片里是什么东西？’”解释普拉特。“我们把图像分解成盒子，对图像的不同子部分进行评估，检测常见的单词。场景中的对象是什么？这些是名词。它们在做什么？这些动词就像飞行或观看。”

“然后是像旁边和上面这样的关系，以及物体的属性，比如红色、紫色或美丽。整个图像识别之后的自然下一步是在一个场景中把多个物体组合在一起，并试图找到一个连贯的解释。很有趣的是，你可以在图像中查看并检测动词和形容词。”