10月12-15日,中华医学会第24次全国放射学学术大会(CCR 2017)在上海世博中心拉开帷幕,聚集了国内外一流的专家学者及业内人士共6000余人,集中展示和交流了中国影像医学的历史传承与跨越式发展。搜狗公司COO茹立云受邀出席此次大会,以“人工智能在图像领域的进展”为题,分享了人工智能推动图像技术取得的五项重大突破,并指出人工智能技术在医疗领域应用前景广阔,未来将能发挥更大作用。
(搜狗公司COO茹立云出席CCR2017并发表主题演讲)
随着移动互联网及社交网络的发展,图片成为主要的信息载体,在这种情况下,计算机的图像识别技术就显得尤为重要。茹立云介绍,21世纪初,图像的检索基本上是由人工去定义特征,在机器上做简单的匹配。人工智能技术的发展,让机器对图像中内容的理解能力实现了全面提升。具体而言,面对一张图片时,机器会最先判断“图像里有什么”,精准识别图像中的内容;其次判断“图像中物体在哪儿”,以精准定位物体的位置;最后会对“图像内容表达什么”进行智能语义分析。
“机器对图像理解能力的提升,则直接推动了OCR文字识别、识图搜索、人脸识别、图文翻译、图像生成这五大图像技术的突破。其中,前三项技术主要用于解决‘图像里有什么’和‘图像中物体在哪儿’的问题,后两项则对应解决‘图像内容表达什么’的问题。”茹立云指出,并一一介绍了这五大技术突破的具体发展情况。
在文字识别方面,其目标是检测并识别图像中的文字。“传统文字检测方法步骤繁琐、人工设计流程多,且无法应对复杂背景和低质量文字。现有技术体现了深度学习模型的端到端的特点,减少了中间环节,从而能降低识别错误率。图片中的文字无论是印刷体、手写体或者夹杂在复杂背景中,都能被机器准确读出来。”茹立云还以搜狗翻译APP最新推出的“菜单翻译”功能为例,展示了文字识别技术的具体应用。这项功能基于搜狗领先的图像识别技术,对于用户从任意角度扫描的中英文菜单,均可准确识别,并在原菜单的对应位置标识出相应的翻译结果。
(图:“菜单翻译”功能翻译前后对比截图)
识图搜索则旨在解决图像分类、查找相同图、相似图等问题。茹立云表示,当前的识图搜索技术,以深度学习算法替代了人工设计,有效提升了相同图和相似图搜索结果的质量。“如搜狗图片的拍照购物功能,用户只需将喜欢的衣服拍照上传,或者从手机里上传相关照片,系统即可对上传照片进行快速处理,并与数据库中上亿张商品图片进行高速比对,为用户找到相同和相近的商品。再如搜狗图片的‘识狗’、‘识花’功能,用户只需上传相关照片,即可直接识别出狗或者花的种类。”茹立云举例说。
人脸识别方面,他指出,在深度学习以及大数据的驱动下,人工智能在人脸识别的某些方面已远超人类的识别能力。并且,人脸识别的实际应用场景也已日趋成熟,已经越来越多地应用到了机场安检、人流监控、疑犯查找、身份认证等场景下。例如商店的监控器,就可以利用人脸识别技术,对经常出入店铺的熟客进行针对性营销,将能更好提升销量。
图文翻译技术,其目的是使机器准确理解图像背后的语义。“传统的图像识别技术,只能粗略识别出图像中的基本内容,如图像中有一个人。而人工智能支持下的图文翻译技术,不仅能告诉你图片中有一个人,还能分辨出这个人的性别、他手上拿的东西、他周围有什么物体等更细致的内容。”茹立云说,这项技术的突破,也能给人带来极大便利,例如盲人朋友以前只能通过声音或者文字转化成的声音来获取信息,现在还能把图片信息转化成的声音,让他更好了解视觉化的世界。
而人工智能技术发展到更高阶段,则是图像生成技术,目前这一技术也已被广泛应用到了人脸合成、图像修复、风格迁移等方面。“例如图像修复方面,AI能通过深度学习,将带马赛克或者画面遮挡的图片修复成完整图片,再如黑白照片上色变成彩色照片,等等。”茹立云举例说。
回到大会核心话题——影像医学领域,茹立云指出,未来图像AI在医疗领域的应用前景将会非常广阔,主要包括三方面:首先是辅助诊断,人工智能可以学习更多医学影像方面的数据,进一步辅助医生诊断决策;其次是疗效评估,对于肿瘤等重大疾病,可依据AI大数据分析,在治疗前判断治疗方案对患者的疗效;再次是预后预测,科学预测患者生存期,提取患者特征,建立模型,定量分析,给出预后预测。