给信息复杂的图像打标记?最可靠的方式当然是人工标注。但互联网上海量的图片每天都在不断增加,如果完全依靠人工来进行标注,显然是一个不可能完成的任务。用户往往乐于传播图片,但也不会给图片打上合适的语义标记,如果搜索引擎想要反馈给用户想要的图片,就需要一个强大的图片标注模型,这正是当前学术界和工业界的一个热门话题。
Google在海量数据处理上的自动标注算法可以说已经代表了世界技术的先进水平,不过目前百度新研发的图像标注算法实现了新的突破,在内部的一项评测中,获得了比Google公开发表的结果更好的准确率,而在内存计算的开销上却基本没有增加。
“我们通过利用机器学习中的多标记学习技术,修改目标函数,创新标注模型,改善优化技术等等手段,大幅提高了自动图像标注的性能,同时还能保证快速的训练时间和极低的内存开销,目前的算法在单机上就能处理海量数据。”黄圣君是南京大学计算机科学与技术系的在读博士生,参与百度大规模自动图像标注项目研究。通过百度校园主题研究项目,他不但得到来百度实习的机会,而且还获得大规模的数据和技术资源的支持。
“多标记机器学习”是带来技术突破的关键。如果只给图片做单一的标记往往不能完整的描述其语义。黄圣君打了个比方:“一幅图像往往会包含了多个语义对象。比如一幅海边落日的图像可能同时具有“大海”,“日落”,“沙滩”,“人”,“船”多个标记。因此,相比于传统的单标记学习,用多标记学习技术来处理图像标注的任务将更符合实际情况。”在多标记学习领域,黄圣君在导师周志华教授指导下,在南京大学进行了一系列的研究,并在今年有两个工作分别发表在国际顶级学术会议KDD’12和AAAI’12上。而他们的这些研究成果也在百度图像标注项目中转化成了实际应用。
第一个工作是关于多标记学习中一个非常重要的任务:让机器自动从数据中发掘对学习任务有帮助的标记关系。黄圣君所做的就是让机器在学习一个标记的时候,会自动的发现其他标记上已经训练好的模型哪些是对自己有用的,然后进行最优重用。同时,这种重用还是非对称的。黄圣君说:“有海洋标记的图片必定有水,但有水标记的却可能是一个游泳池,我们在论文中提出的方法让机器学会了自动优化重用模型的过程,还能学习出不对称的标记关系。”
第二个工作是关于如何恰当的利用标记关系的。以往的方法往往简单的把标记关系应用在所有样本上,会出现副作用的情况。黄圣君说:“通常树和山是同时出现的,但实际上图片中有沙丘这种类似山的形态的图像时却未必有树,因此在这种情况下算法通过山预测出的树就会出现反作用,我们要做的就是通过一个编码向量来建模分析,哪些关系对哪些样本是有帮助的,而哪些又是有误导的,从而利用标记关系的局部特性来提升多标记学习的性能。”
两件事最令黄圣君感到兴奋,一件是把成果发表成论文与世界上其他同行分享自己的idea,还有一件就是将研究成果应用到实际,去改变人们的生活。“来到百度最大的帮助就是让我接触到真实的海量数据,并在这些数据上验证和改进自己的想法。刚刚来到百度时,了解到这里有上百亿的图片时,我简直惊呆了,无法想象这样庞大的数据将会带来怎样的挑战。”接触百度不同领域的技术牛人让他异常兴奋,也得到了部门同事的热心帮助,并最终在大规模图像标注项目上取得了突破。黄圣君在百度实习期间还收获了很多“惊喜”。“和同事组队参加公司的Hackathon比赛,我们经过二十四小时连续作战完成了两个项目,其中一项还获得了申请专利的机会。与一群技术牛人同场竞技,还能跟Robin面对面的讨论,这让我真正体会到做技术的快乐。”
作为机器学习领域的资深专家,今年回国加盟百度的多媒体部总监余凯博士自始至终都全力支持着黄圣君在百度的工作:“自动图像标注在计算机视觉领域是一个热门的研究课题,也是机器学习算法应用的一个重要方向。百度处理的数据量越来越大,也让我们看到取得这项技术突破的必要性和前景,黄圣君结合工业界的实际需要,在尽可能少的计算开销下训练出一个精确的预测模型,让技术真正服务于互联网企业和用户。”
黄圣君在南京大学的博士生导师周志华教授也是机器学习领域的资深专家,他认为主题研究项目很好的搭建了高校和企业之间的桥梁。“我们实验室在理论与算法研究方面有一些心得,通过与百度合作,希望可以共同研发出影响人们日常生活和互联网发展的技术成果,让理论和算法研究的成果有机会在应用中发挥更大的价值。”百度校园主题研究项目的机会给了黄圣君一次简单可依赖的体验,也让他在科研工作中真正体会到一个互联网公司内在的创新正能量。