您的位置:首页>>业界动态

LSTM之父Jürgen Schmidhuber丨“认知智能 改变世界”嘉宾巡礼

发布时间:2019-08-13 15:55:39  来源:互联网    背景:

  L先生总是好忘事,于是他每次出门随身带一个笔记本,遇到事情就记在上面。可惜的是,他只有一本笔记本,很快就记满了。于是,每次有新事情发生,他就会把原来本子上的一部分不重要的内容擦掉(遗忘),把新接收的内容写下来(输入)。

  得益于这个小本本,L先生现在可以回忆起半个月之前的事了。而且由于L先生闲着没事儿就翻翻自己的笔记本,他的脑子里也开始或多或少对很久之前的事留存了一些印象。

  以上就是“好记性不如烂笔头”的故事,也与今天的主角Jürgen Schmidhuber和他的LSTM理论有关。

图片包含 人员, 地板, 站立, 室内

描述已自动生成

  Jürgen Schmidhuber

  Jürgen Schmidhuber教授是现代循环神经网络技术发展中的关键人物之一,他帮助创造了名为“长短期记忆的循环神经网络技术”(Long-Short Term Memory),并影响了谷歌、微软、IBM 等公司的人工智能研究。

  Jürgen Schmidhuber 是瑞士人工智能实验室IDSIA 的科学事务主管,同时任教于卢加诺大学和瑞士南部应用科学与艺术学院。

  他于1987年和1991年在慕尼黑工业大学先后获得计算机科学的学士和博士学位。自1987年以来,一直引领着自我改进式(self-improving)通用问题求解程序(problem-solver)的研究。

  从1991年开始,他成为深度学习神经网络领域的开拓者。Predictability Minimization(可预测性最小化)模型,简称PM模型,出自1992年的论文《LearningFactorial Codes by Predictability Minimization》,他是唯一作者。

  1997 年,Schmidhuber 博士和 Sepp Hochreiter 发表了一篇技术论文,后来证明这篇论文对视觉和语音上的快速进展起到了关键作用。这个方法被称长短期记忆,简称LSTM。

  2009 年,Schmidhuber当选欧洲科学与艺术学院院士。他获奖很多,包括 2013 年国际神经网络协会的亥姆霍兹奖,以及 2016 年电气与电子工程师协会的神经网络先锋奖。

  2019年,他独立发表了一篇综述论文,再一次概览了极小极大博弈,及 PM 模型与 GAN 之间的强烈联系。他一直认为 GAN 是其 PM 模型(1992)的变体,与Goodfellow 从邮件到演讲也有多次公开交流。

  他认为:GAN可以看作是 Adversarial Curiosity (1990) 的特例,Adversarial Curiosity 基于两个网络之间的极小极大博弈,其中一个网络通过其概率动作生成数据,而另一个网络预测输出的结果。

图片包含 文字, 地图

描述已自动生成

PM 和 GAN 的对比

  Jürgen Schmidhuber与他的LSTM

图片包含 屏幕截图

描述已自动生成

神经网络发展历程

  神经网络最早的雏形出现在1943年,心理学家McCul-loch提出了模仿神经元的结构和工作原理的MP模型。20世纪50年代末,美国科学家Frank Rosenblatt提出了感知机学习,并于 1958 年正式提出了由两层神经元组成的神经网络,称之为“感知器”。

  循环神经网络(Recurrent Neural Network,RNN)是一种用于处理序列数据的神经网络,相比一般的神经网络来说,它能够处理序列变化的数据。比如某个单词的意思会因为上文提到的内容不同而有不同的含义,RNN就能够很好地解决这类问题。

  RNN被频繁用于分析预测序列数据,但研究表明,随着时间的推移RNN会忘记之前的状态信息,故引入了LSTM。LSTM优势在于它能够解决梯度消失的问题,还可以保留误差,用户沿时间和层进行反向传递。

  LSTM近年来在很多领域表现突出,被广泛应用在机器人控制、图像分析,文档总结,视频识别、手写识别、聊天机器人、智能助手、推荐系统、预测疾病和股票市场等领域。如今,LSTM 原理已经成了深度学习的根基。

  例:我们所使用的智能手机语音识别功能就来自于Jurgen的研究,如今,超过10亿人可以用上IDSIA开发的算法。

  Jürgen Schmidhuber的理想:通用人工智能

图片包含 男士, 墙壁, 室内, 人员

描述已自动生成

1963 年的 Jürgen 和他的父亲 Johann Schmidhuber 玩象棋

  Jürgen Schmidhuber对机器人和通用人工智能的兴趣可以追溯到青少年时代。他从图书馆借阅了大量科普书籍和科幻小说—尤其喜欢奥拉夫·斯泰普尔顿的《造星主》、E·T·A·霍夫曼的《沙人》,以及史坦尼斯劳·莱姆的小说。

  1956 年,John McCarthy(1927~2011)在达特茅斯会议上将人工智能定义为:The science and engineering of making intelligent machines.

  在20世纪60年代,人工智能的研究更多处于理论阶段,随着近些年计算机算力极大增长,这一波技术浪潮会带来更多垂直产业应用的落地。Schmidhuber也将目光瞄向了推动技术成果向商业转化,继续投注他对通用人工智能目标的远大设想。

  通用人工智能又称为AGI,其可以像人类一样应对不同层面的问题,还具有自我学习、理解复杂理念等多种能力。

  在追求通用人工智能的道路上,最为著名的公司当属DeepMind,该公司创造了AlphaGo,在2014年被谷歌收入麾下。鲜为人知的是,DeepMind四位创始成员中有两位来自Schmidhuber所在的IDSIA。

/var/folders/gp/06582wjs1c15hdhj2l_tstbm0000gn/T/com.microsoft.Word/WebArchiveCopyPasteTempFiles/640?wx_fmt=png&wxfrom=5&wx_lazy=1&wx_co=1

  2014 年,Schmidhuber教授参与创办了人工智能公司NNAISENSE,旨在打造第一个有实用价值的通用人工智能。其愿景为“为超人感知和智能自动化打造大规模神经网络解决方案,最终目标是推广基于通用神经网络的人工智能”。

  Jürgen 认为,RNN 是打造通用人工智能的基础,不用很多年,我们就能够制造出基于神经网络的 AI(NNAI),NNAI 能够通过逐步学习,跟一些动物一样聪明。

  认知智能 改变世界

  由华院数据主办的2019 世界人工智能大会(WAIC)“认知智能 改变世界”论坛将于8月31日上午隆重开启,Jürgen Schmidhuber教授在本论坛也会带来精彩的学术分享,我们诚挚欢迎您的莅临!华院数据微信公众号后台回复“报名”立即参与。

特别提醒:本网内容转载自其他媒体,目的在于传递更多信息,并不代表本网赞同其观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,并请自行核实相关内容。本站不承担此类作品侵权行为的直接责任及连带责任。如若本网有任何内容侵犯您的权益,请及时联系我们,本站将会在24小时内处理完毕。


返回网站首页 本文来源:互联网

本文评论
头号玩咖参展2019世界VR产业大会 国务院副总理刘鹤莅临指导
2019年10月19日-21日, 2019世界VR产业大会在江西南昌举行。在同期举办的2019 VR/AR产品和应用展览...
日期:10-19
世界VR产业大会开幕 玖的揽获「中国VR50强企业」「VR/AR年度创新奖」两大奖项
10月19日,以“VR让世界更精彩——VR+5G开启感知新时代”为主题的第二届世界VR...
日期:10-19
开发者服务起风了:2019极光开发者大会,聚焦开发价值!
2019年10月19日,“2019极光开发者大会”在深圳召开,数千位互联网公司技术领袖、合作伙...
日期:10-19
华为:希望把VR/AR打造成下个智能手机产业
10月19日消息,2019世界VR产业大会在江西省南昌市举行。华为轮值董事长郭平发表了《打造VR/AR信息高...
日期:10-19
华为云受邀参加2019IDC中国数字化转型年度盛典,“5G+云+AI”助力企业数字转型
2019年10月18日,由IDC中国主办的“2019 IDC数字化转型年度盛典暨第四届中国数字化转型领军用...
日期:10-19
语音识别大拿Daniel Povey正式加入小米,将组团队开发下一代Kaldi
10月19日消息 据小米集团副总裁、小米技术委员会主席@崔宝秋-小米 消息,语音识别大拿Daniel Povey...
日期:10-19
蚂蚁金服共享智能平台打破数据孤岛,荣获“2019CCF 科技进步优秀奖”
10月18日,在2019中国计算机大会上,“蚂蚁金服隐私保护共享智能平台”荣获“CCF科...
日期:10-19
我国研发5款自主产权3D显卡:支持国产处理器及操作系统
   继国产处理器获得突破之后,国产GPU/显卡也取得了重大进展。
日期:10-19
华为开发者大会2020将于明年2月11日在深圳召开
10月19日消息 今日上午,据华为中国官方消息,华为开发者大会2020将于2020年2月11日-12日在深圳召开...
日期:10-19
Digitimes:英特尔将在2020年中发布Xe独显,采用10nm工艺
10月19日消息 根据TPU的报道,接近Digitimes的消息人士透露,英特尔将很快推出其首个10纳米独立显卡...
日期:10-19
AMD有望在11月5日发布新款线程撕裂者和TRX40芯片组
10月19日消息 根据VideoCardz的独家爆料,AMD计划发布三款Threadripper 3000处理器,分别是 3960X,...
日期:10-19
英特尔将于月底推出新款超低压处理器:10nm工艺,3D封装
10月19日消息 根据Notebookcheck的报道,英特尔将于2019年10月23日和24日在加州圣克拉拉的凯悦酒店...
日期:10-19
政企智能转型升级正当时 华为云打造西安智慧产业新高地
10月17日,由华为公司主办的“西安·选择不凡 华为云城市峰会2019”在西安如期举行...
日期:10-19
华为云依托5G+云+AI技术 加速政企转型升级
10月17日,“西安·选择不凡 华为云城市峰会2019”如期在西安举行。西安市市长李明...
日期:10-19
西安航天基地华为云人工智能创新中心正式发布
10月17日,西安·选择不凡 华为云城市峰会2019在西安举行,针对Cloud 2.0时代下的政企上云需...
日期:10-19
人才培养正当时,华为云联合7大高校发布西北鲲鹏人才培养计划
  10月17日,西安·选择不凡 华为云城市峰会2019在西安拉开帷幕,着眼西北地区科技创新发展,华...
日期:10-19
爱奇艺创新CDN系统奇速播荣获中国计算机学会 “CCF科学技术奖科技进步杰出奖”
10月17日-19日,由中国计算机学会(CCF)创办的2019中国计算机大会在苏州举办,爱奇艺融合边缘云的新...
日期:10-19
世界互联网大会开幕,UCloud优刻得展示企业上云新科技
10月18日上午,第六届世界互联网大会“互联网之光”博览会在浙江乌镇拉开帷幕。国家互联...
日期:10-19
Breeno语音“万物互融”丰富覆盖渠道,为开发者提供更多品牌精准客群
10月15日「OnePlus 7T 系列新品发布会」在北京举办。此次发布会除了发布了硬件端旗舰级一加手机,也...
日期:10-18
哈弗H6斩获第76个月销冠,不断刷新SUV市场销量记录
进入2019年下半年后,中国汽车市场发生了微妙的变化,轿车相较2018年依旧呈现下跌态势,而SUV异军突起,...
日期:10-18
  专栏介绍
徐彬 的专栏
徐彬发表的文章
积分:
自我介绍 :