阿里图像搜索之父
12月22日消息,近日,美国计算机协会(ACM)公布了2015年度杰出科学家名单,在上榜的两位亚裔学者中,阿里巴巴图像搜索的领军人物、阿里巴巴搜索事业部研究员华先胜位列其中。
与此同时,国际电气与电子工程师协会(IEEE)也公布了华先胜当选2016年度IEEE Fellow(IEEE会士)的消息,以嘉奖其“为多媒体内容分析和图像搜索做出的突出贡献”。
与通用搜索主要依靠字节不同,图像搜索被主要定义为“以图搜图”。据华先胜介绍,图像搜索的第一步是训练计算机进行图像理解,也就是通过计算机将图片中的要素,包括人像、颜色、纹理等具体特征以及深度学习产生的图像描述,转化为类似文字的“视觉词”,编成索引之后,才能再进行第二步——图像搜索。
从20世纪90年代开始,国际上就开始了对图像搜索的研究,但直到2008年前后,计算机开始能够处理大量图像,图像搜索技术才得以突飞猛进的发展。
2008年,还在微软亚洲研究院工作的华先胜,就因在图像和视频搜索方面的尝试,获得了由《麻省理工学院技术评论》颁发的“全球35位35岁以下的杰出青年创新人物(MIT TR35)奖”。
评委会在颁奖词中写道:“有效的基于内容的视频搜索仍然还有很多困难没有解决。而华先胜希望通过自动识别图像和视频中物体、场景、事件和其他语义特征来攻克这个壁垒。”
从“智能”到“更智能”
华先胜另一项为业界瞩目的成绩,就是设计并实现了不需要“人工标注训练数据”就能产生识别任意目标的图像识别系统。
“之前,图像识别需要要人工去给图像贴标签(Label),让计算机从这些数据中学习出识别模型,但我们提升了一步,训练计算机自己去找数据,建立自动识别的模型。比如要识别和搜索不同种类的花卉,不用标注900多种花卉的图片,而是直接输入花卉的名称列表,计算机就可以自行去网上找数据、进行清洗、补充、学习,然后就能进行图像识别了。”
华先胜介绍,这一技术可以适用于多种场景的图像搜索,比如明星脸识别,不用输入“范冰冰”的照片,计算机可以从网上自动学习辨认。
随着近年来深度学习技术在图像分析和识别领域的广泛应用,图像的描述(特征)有了非常大的进步,而阿里的大量商品图像数据和用户数据,包括用户使用反馈数据的挖掘和回流,也使得电商平台搜索结果的相关性不断提升,“拍立淘”的用户UV在过去半年内猛增了两倍多。
90后占“拍立淘“用户一半以上
根据手淘数据显示,在“拍立淘”用户中,90后占比高达55.1%,远高于无线搜索的该年龄段整体用户占比——年轻人显然更中意“以图搜图”这种看上去很“潮”的搜索方式。
实际上,拍立淘未来还有很多种玩法:比如,拍件衣服,拍立淘可以推荐与之搭配的服饰;输入家具的照片,拍立淘可以配套其它家具及家饰;包括AR(虚拟现实)方式,拍立淘可以实时展现摄像头前物品对应的商品及信息……
除了拍立淘,华先胜还举了这样一个运用到图像搜索技术的例子:淘宝店铺中的很多“大码”服装,由很骨感的模特试穿,这样很可能会影响到用户的试穿体验,但阿里搜索的图像识别系统,目前就能把”微胖“的模特作展示的店铺排在前面,让商品信息对消费者更有参考价值。
“图像搜索就像电商中的水电煤,有的产品,像‘拍立淘’是可以被用户感知的,有些技术演进则是藏在应用和服务背后,默默为大家服务。”
华先胜介绍说,其实电商平台上处处都有图像技术的需求,从商品图片的分析理解、商品识别、商品属性识别、场景识别,到人脸检测(试妆)、人脸属性(年龄、性别、颜值等)、人脸识别(如明星识别)、人脸合成(试衣)等,甚至视频分割、事件检测、物品检测跟踪、广告投放等,都离不开图片技术。可以说,图像技术正被应用于商品推荐、个性化、商品管理以及其他搜索的方方面面。
对于“拍立淘”的未来,华先胜表示,拍立淘将会拓展到更多领域,力争成为人们获取信息(包括购物、教育、娱乐、新闻、知识等等)的一个快捷、有趣、有效的入口,而不仅仅是搜寻商品的入口。“希望在未来,通过拍照或者相机镜头扫描动作会成为人们获取信息的一种习惯。”