您现在的位置: 首页 > 网站导航收录 > 百科知识百科知识
2022年8月1日更新 人工智能群英会 云天励飞首席科学家王孝宇做主旨报告
数据,模型,算法2022年8月1日更新 人工智能群英会 云天励飞首席科学家王孝宇做主旨报告
发布时间:2020-12-06加入收藏来源:互联网点击:
2022年7月16日-18日,第十一届吴文俊人工智能科学技术奖暨2021中国人工智能产业年会在北京和苏州同期圆满举办。深圳云天励飞技术股份有限公司首席科学家王孝宇受邀在2021中国人工智能产业年会主论坛上发表主旨报告《Towards Automated Artificial Intelligence》。
人工智能在过去十年得到了长足的发展。人工智能加速发展的这十年,也是人工智能研究及产业技术不断走向开源、开放、自动化的十年。报告通过梳理人工智能研发不断迈向自动化的努力,阐述其下一阶段大规模行业化的关键方向。报告亦会介绍与各国际高校学者联合发布的YMIR开源自动化AI研发平台。此平台赋能的项目获此次吴文俊人工智能科技进步一等奖。
以下为王孝宇博士的现场演讲内容:
我今天主要是根据我们在美国的十年和在中国五年创业的经验谈一谈我们对自动化机器学习和自动化人工智能的认识,并且同步介绍一下我们在这方面的成果。
其实深度学习最标志性的事件是在2012年的时候,多伦多大学有一位教授Geoffrey Hinton,带着两个学生拿了国际比赛的第一名,并且比第二名高出很多,那个比赛叫ImageNet。后来这三个人就组建了一个科技公司卖给了Google。再后来这三个人也在人工智能的领域大展拳脚,Geoffrey Hinton是图灵奖的得主,Ilya后来成为Opne AI的首席科学家,Alex后来去了Google做研究。
Alex对业界的贡献非常大。为什么2012年之前有这么大的发展,其实这是一个逐步累积的过程,一方面互联网的数据达到了一定的程度,另外一方面显卡、GPU算力达到一定的程度,但是很多时候忽视了第三方面就是GPU当时的编程很复杂,尤其是把深度学习、神经网络编写到一个并行计算的框架里面,并不是简单的任务,Alex就把这个GPU实现了,并且得到了很好的结果,把这个结果release就分享给全社会了,所有学者都可以用,当时叫Cuda-convnet。其实我们在2011、2012年做深度学习研究的时候,用的全是这个深度学习的框架。
在这之后,又有一个学生叫贾扬清(阿里巴巴副总裁),他release一个深度学习的框架叫Decaf,其实跟Alex的那个有点像,但是稍微比Alex那个框架又好用一点,这个得到了非常大的传播。
由于Decaf本身存在一些工程上的问题,2014年伯克利又release了Decaf的第二版,我们叫Caffe。Caffe后来变成广泛流传的深度学习神经网络的训练框架,这是2014年。
在这之后,各大公司就投入做深度学习的框架,这是一个营造科技生态非常重要的环节,包括Google的TensorFlow,亚马逊的Mxnet,Meta的Pytorch,包括中国百度的PaddlePaddle。现在流行的主要是两个,就是Google的TensorFlow、Meta的Pytorch。
这个领域你会发现变得越来越开放,第一步开放是研究学者之间的开放。我2008年在美国读博士的时候,那个时候做研究就是你做你的,我做我的,我把我的方法做出来之后,你要实现,可能要花半年的时间先去实现别人的方法,现在不用了,现在几个小时的时间就实现别人的方法,大家把代码开源了,并且用了统一的研究框架,开源统一的研发框架极大程度上研究了相互之间的参照,或者成果的自动化分享。
这是一方面,在研发架构上以及研发方法上的自动化分享越来越便捷,另外一方面学者也注意到,现在很多优秀的人才,所聚焦的研发或者工业界聚焦的研发更多的是在调参数。这些实际上本不应该成为研究的核心内容,所以大家开始探索,有没有自动化的方法,让我们深度学习神经网络的网络架构可以自动化设计,可以面对一个问题的时候,自动化的选择一个方法解决我现在的问题。
所有的学者在2022年的时候,也是最近,发起了一个会议叫做International Conference on Automated Machine Learning。大家发现这个东西可以自动化的完成,自动化有哪些内容去做呢?这是他们所包含的领域,这里面有Neural Architecture Search,就是神经网络的结构能不能自动化寻找和设计。Hyperparameter Optimization,就是自动化神经网络训练时候的哪一个参数好一点,哪一个参数差一点,这个事情也别去想,你可以预测,也可以去寻找,但没有必要让研究学者拿这么高的工资调这个参数。
包括CASH(Combined Algorithm Selection and Hyperparameter Optimization),这个是什么呢?当你要解决一个具体问题的时候,你用哪些混合的方法帮你实现,帮你做这些东西,而不需要你自己手动设计,这是更难的问题,因为这要解决具体的问题。
我想说的是在第一波结果的自动化分享的基础之上,大家开始慢慢地看能不能自动化做技术的设计,把我之前所做设计的工作负担降低一点,这是大家努力的方向。
这个是算法设计的自动化,之前研究成果的是第一阶段,第二阶段是算法设计能不能自动化,自动化的好处是什么呢?减少了大量不具备科学价值的模型调参,这样我们的核心人才就可以投入到更高级的人工技术的研发。
在这个基础上,事情正在起变化,什么在起变化呢?去年在NIPS(Conference and Workshop on Neural Information Processing Systems)上,知名的科学家吴恩达,举办了一个workshop,主要是谈模型和数据到底哪一个更重要。
他一个观点就是,以模型为中心的技术研发转化成以数据为中心的技术研发。我怎么类比这个问题呢?这是我个人的理解,不代表大家的看法,模型和数据之间的对比,你可以简单的类比为一个人的IQ和知识储备的对比。这个人很聪明,如果从小就放在家里面,永远不跟社会打交道,也不让他学习新的知识,还是一个很笨的人。但即使这个人资质平平,但是他见过全世界各地的东西,去美国留学过,去欧洲留学过,在中国做过实际工业化的生产,看过很多设计的案例,他可能比这个IQ高的人更厉害,如果这样理解,模型就有点像IQ,数据就有点像知识,knowledge,两个同等重要,而且越到后面你会发现knowledge越来越重要。
工业化大规模发展里面,大家慢慢地转化为从模型为中心的生产转化为以数据为中心生产的转变,这是做的一些实验的对比,我们可以看到有一个基础算法之后,我们以两个维度提高基础算法的perfomance,一个是Model-centric,就是想尽各种办法提高模型设计的复杂度、技术含量。另外就是Data-centric,加数据,看数据有没有问题,当然加数据里面也有一些科学方法的,并不是加数据一定会提高。会发现Data-centric的方法比Model-centric的方法提高很多,这是我们自己做模型生产时候发现一个结论,越到后面你数据的迭代越来越重要,所有模型的服务实际上是针对某一个特定场景,有特定的数据解决它。
在过去我们实践的八年时间中,我们就会发现算法的迭代事实上变成了数据的迭代,另外一个维度看,我们研发到现在为止几百个算法的模型,从来没有一个模型说我搜集了一次数据,调整一次参数就不用变它了,我们很多模型都迭代了5-6年,主要迭代是什么?是数据的迭代。因为我们解决不同的需求,不同场景的时候,我们会受到不同场景泛化性的问题,我们碰到的问题越来越不一样,不是因为算法的不一样,是因为场景的不一样,所以要处理的数据不一样,我们要不停地更新迭代数据,才能够满足不同场景应用的需求。
算法迭代变成了数据迭代,有没有办法把数据的迭代也自动化呢?我们后面会讲。算法设计可以自动化,数据迭代也可以自动化,我们就可以端到端的完成自动化的AI模型的生产,就逐渐地成为可能,最起码理论上是这样。
上一篇:2022年8月1日更新 三缸机就是香!贝纳利TNT899摩托上市:7.98万
下一篇:返回列表
相关链接 |
||
网友回复(共有 0 条回复) |