ITBear旗下自媒体矩阵:

画师们害怕了没?AI竟然只靠描述就能自己绘画啦!

   时间:2018-01-22 16:15:07 来源:科技三国编辑:星辉 发表评论无障碍通道

关于人工智能的图像识别应用,相信小伙伴儿已经接触了许多,比如面部识别、情绪识别和视觉搜索等。作为科技业巨头之一的微软,在该领域同样有过许多尝试:在牛津项目(Project Oxford)中,AI能识别图片中人物的情绪;在CaptionBot应用中,AI不仅能识别用户上传的图片,还能给出一段有趣的描述。

如今,微软在AI图片研究方面更近一步,带来了AI绘图功能:你只需给出说明(比如文字描述),AI就可以自动生成图片。据悉,与之前考虑过的顶级技术相比,drawing bot带来了三重改进。比如上图就是AI根据“一只拥有黄色身躯、黑色翅膀和短喙的小鸟(a bird with a yellow body, black wings and a short beak)”这一说明,绘制出来的小鸟。

AI绘图背后的技术原理

据介绍,drawing bot基于生成对抗网络(GANs)技术,而且微软研究人员更进一步,使用被称为AttnGAN(Attentional Generative Adversarial Network)的技术,能将输入的句子分成独立的单词,并与图像的特定区域匹配起来。研究人员提到AttnGAN时表示,这是用算术替代了专注这一概念,“专注是人类的概念;我们通过数学让专注可计算了!”

据悉,研究人员以数学算法,为AI提供了注意力模型(The attention model)和DAMSM模型(Deep Attentional Multimodal Similarity Model)。其中,注意力模型拥有文字特征和图片特征两种输入数据(input)。DAMSM则包括了text encoder、image encoder和基于attention model的attention-driven image-text matching score模块,能学习映射图像和单词分区两个神经网络的公共语义空间,以及以单词层级测量图像文本相似度,从而计算包括细密纹理的图像生成。

想了解更多技术细节,请查看研究人员发布的论文:https://arxiv.org/abs/1711.10485v1

AI绘图未来大有可为

据悉,该研究团队最初借助名为CaptionBot的AI系统来深入研究计算机视觉和自然语言处理问题(该系统可以自动为照片添加字幕);此后,研究团队又创建了名为SeeingAI的AI系统,它的作用是帮助盲人群体认识世界(通过识别图像给出地点、物体属性等回答);然后,研究团队想通过文字来生成图像,“这意味着你需要AI的机器学习算法能想象图片中丢失的部分。”

有趣的是,得益于研究人员提供的训练数据,drawing bot也拥有了一点基本常识和想象力,能填补图像的一些细节。以小鸟为例,即使文本中并没提到树枝,drawing bot也经常会画出一只站在树枝上的鸟,那是因为最初给它输入的图像大部分都是这样的。

微软研究员强调,该AI系统不是根据描述去寻找网络中对应的图片,而是完全靠自己创作出来的,“AI画出来的鸟可能并不存在于真实世界——这些鸟只不过是计算机想象力的结果而已!”据悉,该技术未来可扮演画家设计师等的草图助理,或是用于声控照片细化工具。

随着技术的进步,这项技术甚至还能在生成基于剧本的动画电影,为动画电影制作人提供助力。当然,目前该技术还存在瑕疵,不过微软已经迈出了非常重要的一步。如果未来真的有根据文本描述绘画的AI投入实用,你会有什么感想呢?

举报 0 收藏 0 打赏 0评论 0
 
 
更多>同类资讯
全站最新
热门内容
网站首页  |  关于我们  |  联系方式  |  版权声明  |  网站留言  |  RSS订阅  |  违规举报  |  开放转载  |  滚动资讯  |  English Version