在将门-TechBeat人工智能社区上线一周年之际,我们评选出Top30进入「年度TechBeat红人榜」,同时我们也潜心策划了AI工作者人物专访栏目「AI红人荟」,带大家更深入地了解他们个人成长的心路历程,感受来自青年科学家们的榜样力量。
本次为大家带来的是——华盛顿大学助理教授·杜少雷的故事。
系列回顾:
专访图森未来首席科学家王乃岩
专访香港中文大学在读博士葛艺潇
作者
何伊静杜少雷,今年28岁,在华盛顿大学担任助理教授将满一年。在此之前,他先在加州大学伯克利分校完成双专业本科学习,随后去往卡耐基梅隆大学攻读博士,最后,他又在普林斯顿高等研究院做了为期一年的博士后。学术的道路上,他一步步走得很平稳。在伯克利,杜少雷明确了自己想做偏理论的科研;在卡耐基梅隆,他开始接受系统的科研训练,完成了从导师给题到自己在新领域里深耕的蜕变;而在普林斯顿高等研究院,他延续博士阶段的探索,开始在特定领域扩大自己的成果。一路走来,他不太发愁。尽管整体顺利,但杜少雷不是没有遇到过挫折,博一时他的paper被拒了不下五次,解决具体问题时遇到一两周无法解决的瓶颈也是家常便饭,但是杜少雷的心态很好,“这个悲剧了,那就下一个”。一路走来,他很少纠结。在共长达两个小时的交流中,杜少雷提到了将近20次“感兴趣”,无论是求学还是任教,热爱是不变的方向。在转身成为助理教授后,他希望自己的学生“将来无论做什么都可以,但是真的喜欢自己在做的事情”。01“感兴趣”杜少雷在Google实习
没有什么特别的契机,杜少雷一直对数学比较感兴趣。他在北京长大,和许多同龄人一样,从小学二年级就开始上奥数课,从那时起,他和数学的缘分就埋下了。
杜少雷是北师大附属实验中学理科竞赛班的学生,高中时参加过数学竞赛,但由于初中毕业后就确定要出国读本科,高中阶段他还是把更多的时间、精力放在了英语和课外活动上。因此,相比起竞赛拔尖的同学,杜少雷并没有那么多好看的奖项,不过,他对数学的兴趣没有变。虽然出于“想赚钱”的朴素想法,杜少雷在进入伯克利文理学院后又很快转院去了工程学院学热门的计算机,但他对数学还是念念不忘,所以也学习了同院的工程数学与统计专业。计算机和数学,就此成为杜少雷人生中两张重要的标签。“编程和数学还是不太一样,编程需要一边尝试一边学习,而不是像数学那样,定义好问题,做推导就行”,杜少雷在这两个思维方式不太相同的领域间摸索,用三年时间找到了自己感觉舒服的位置。
加州大学伯克利分校工程学院SODAHALL
在伯克利,本科生们通常都会跟着教授做科研。经过前两年基础课程的学习,进入大三的杜少雷感到纯数学方向的研究对自己而言不太适合,而计算机方面的科研中,与数学关联较大的方向,一是理论计算机,二是机器学习,前者更偏组合数学或者说离散数学,而机器学习则与连续数学更加相关,会涉及更多推导工作,杜少雷还是对后者更感兴趣。
于是,他主动联系了院里人工智能领域的资深教授StuartJ.Russell,并在教授门下博士后李磊的带领下,完成了人生中第一个科研项目。当时的杜少雷对做科研一窍不通,是李磊手把手教他读paper、选题、设计算法,最终实现了一个与非负矩阵分解优化有关的算法,效果也不错。
成果可能只是做到了很小的创新,但是有所学也有所得,和在课堂的感觉很不一样,杜少雷开始领略到科研的乐趣。不过,这个项目虽然需要用到数学,但是难度不大,更多的工作还是在于编程,这和杜少雷加入的第二个科研项目不太相同。
在杜少雷向他的本科advisorLaurentELGhaoui教授表达自己想做机器学习相关的科研后,advisor建议他联系伯克利数学系的MingGu教授,“学机器学习最重要的是要学好线性代数”。MingGu教授在收到杜少雷的邮件后,确实给他找了一个以他当时的水平能完成的项目——把一篇论文中所用的分析技术读懂,再把这个技术运用到新的问题中去。
大三的第二个学期,杜少雷都在研读相关技术,随后在暑假集中精力,顺利解决了新的问题。“整个过程我挺喜欢的......这个数学问题也不是那么简单,需要计算、需要推导,能做出来真的挺开心”,这个线性代数项目似乎给杜少雷带来了更多的兴奋感。
大三升大四的暑假,杜少雷其实也在Google实习,以纯写后端代码为主要工作。他再一次感受到,纯写代码对他而言并不是那么exciting。
当时的工作没有什么需要创新的地方,把一步一步的逻辑写清楚即可,而且公司管理必然有许多条条框框,代码在进入系统前需要反复做测试以确保正确性,“在学校里做科研就可以更加放飞自我一些,而且总是能发现新东西”。
两次科研,一次实习,杜少雷在大四时已经能明确自己的心意:学界与业界相比,他更想留在学界;编程与数学相比,他对偏数学、偏推导、偏理论的内容更感兴趣。如他所愿,年末,他跨入了卡耐基梅隆大学机器学习系的大门,具体方向是——理论机器学习。
02
“习惯就好”
杜少雷毕业答辩合影
刚上博一,杜少雷总想着赶紧发paper,结果有一篇paper前前后后被拒了三次。不过,他的心态倒是没有太大的起伏,“做科研就是你有时候会被拒,有时候会中,所以习惯就好......看看别人的博一、博二,大家都是这么过来的”。“我知道有些人他们突然很悲观,一般是因为从小到大都比较顺利,后来到了某个阶段,突然发现周边的人都比自己厉害或者受到点挫折,心态就会不太好”,杜少雷说起自己的乐观性格,“但我一直就是中不溜儿,成绩没有特别好,也没有特别差。”杜少雷的父亲是海归博士,但是他的家庭氛围并不“鸡娃”,他没有从父母那里感受到过特别的压力。心态好不等于无所谓,杜少雷在博一、博二阶段也在慢慢发现问题、提高自身,这当中离不开导师和同组同学们的帮助。AartiSingh和BarnabásPóczos两位博导习惯给予学生更多自由思考的空间,而当杜少雷想要与他们讨论,他们又总是能及时回应。来自清华“姚班”的汪一宁师兄也让杜少雷印象深刻,博一时杜少雷曾和师兄合写一篇paper,他写了第一版,结果师兄把初稿从头到尾改了一遍,期间还经常“批评”杜少雷。小到公式后面要加句号,大到如何选题、表达,汪一宁都在潜移默化地影响着杜少雷。到了博士中后期,杜少雷已经能完全明白前期论文总是被拒的原因——还是心急。有时,他会把一篇paper中的技术直接用到自己的论文中,而且其实也没有把技术完全弄懂,“用某个技术一定要先把技术搞清楚......这样可能开始的时候会花很多时间,但后面用起来就很顺手,而且对新问题也能有更本质的理解,一定要深刻理解问题”。另外,学习本身就是一个过程,博一的时候杜少雷对于整个领域还没有比较全面和深刻的了解,哪里是难点、哪里是重点、哪里是边界都不清楚,以至于虽然能出一些新的理论结果,但这些结果就比较简单而无用。到了博三,他的科研能力已经有了明显提升,工具使用更熟练,理论视野更开阔,分析问题也有了一定“套路”,杜少雷便开始了更加自由的探索。比起钻研经典理论问题,他更喜欢探索新问题——年的时候,尽管深度学习已经有许多成功的应用,但理论上的探索还很少,杜少雷的兴趣在此锁定。在新领域开拓理论并不简单,最关键的难点在于没有定义好的数学问题。“如果你觉得这方向很有前途,你就应该深入思考,最好思考的时间长一点,就能得到一些比较好的结果。”虽然杜少雷近些年由于合作多比较高产,但他自己也清楚地明白,对于学者来说,最重要的还是paper的质量,而好的paper总是辛勤深耕的结果。从年暑假开始,杜少雷就和深度学习理论“杠上了”,虽然中间也有一些小产出,但直到年底,才出现了比较好的结果。他的好心态又在其中发挥了作用,人放松了,灵感可能也会多一些。杜少雷提到过做学术的两种高光时刻,一是有个问题思考了很久却一直没有结果,有一天走在路上或是在吃饭,突然灵光乍现,虽然很多时候不对,但当时感到很有希望,好像能解决一个很大的问题,二是所谓灵感真的能解决一个很大的问题。这一年多的时间里,杜少雷难免遇到大大小小的瓶颈,但那种高光时刻带来的满足感和成就感也是无与伦比的。他的博士毕业论文GradientDescentforNon-convexProblemsinModernMachineLearning也正是与深度学习理论相关,还获得了ACM博士论文奖提名以及AAAISIGAI博士论文奖提名。03“和年轻人在一起”杜少雷在会议上发言在普林斯顿高等研究院做了一年博士后研究员后,杜少雷于年8月转身成为华盛顿大学的助理教授。其实在博士阶段,杜少雷也有多段在业界实习的经历,但再一次,杜少雷选择了留在高校——最重要的原因或许还是在于“我喜欢和学生们一起工作,也觉得培养学生很有价值”。在博三、博四的时候,杜少雷就开始和更年轻的同学们合作,尽管可能只相差几岁,但在交流中,他常常觉得年轻人们的想法很不一样,而做科研正需要各种各样的新点子。年龄增长,杂事变多,年轻人也相对有更多的时间和精力去支撑更多的产出。第一年做助理教授,杜少雷主要在指导一些本科生做科研。面对邮箱里来自各地的简历,比起学历背景,他更看重的还是解决问题的实际能力。谈及现在所带的学生,杜少雷难掩欣赏的语气,“他们都很刻苦,行动特别快,自己的想法也很多”。
在他们身上,杜少雷能看见自己的影子——大三升大四的暑假,他一边在Google敲代码,一边做着MingGu老师所交给的项目,因为比较感兴趣,所以杜少雷在推导证明上花了很多时间,也常常主动和教授沟通,“我也喜欢主动、努力的学生”。
杜少雷会根据学生们之前的经历,有针对性地进行指导,如果学生已经有科研经验,那么只需要给一些具体的题目以及进行不定期讨论;如果学生没有接触过科研,他便会一步步从头手把手教起,就和他当年的科研启蒙者李磊一样;当学生们遇到困难,他会和学生一起深入到推导的各个细节。他相信,只要学生感兴趣,自然就会愿意花时间,所以他不会下硬性要求,也不会给特别大的压力,毕竟证明写不出来就是写不出来,一味push可能只会适得其反,他还是希望学生们能读得开心,能有一个好的心态。杜少雷也无法捉摸自己在学生们心中的形象到底如何,他只是希望自己带过的学生都能有比较好的未来发展。如果一定要说他最想在学生们身上留下的印迹,杜少雷选择“热爱”——每个人都可以自由地去选择未来的发展方向,但是希望大家都能真正喜欢自己所做的工作。04“热血少年漫”尽管从未设限,杜少雷父亲最大的希望是儿子能成为一名学者,因为做学术是一个有意思、自我成就感也会很高的职业。如今成为华盛顿大学助理教授的杜少雷日常忙碌,需要兼顾教学、科研、申请基金、professionalservices,但他的确乐在其中。虽然忙碌,他还是会保持一个比较正常的作息,晚上十二点睡,第二天八九点起,不慌不忙。空闲时,他会看漫画——他喜欢那种天马行空、自由自在的感觉——尤其欣赏热血少年漫,“主人公们有一个比较大的目标,对自己干的事情很有热情”。
就和他们一样,在自己的故事里,杜少雷追逐着不受太多约束的生活,悠闲地、淡定地,按着自己兴趣地,不断探索着机器学习理论中的新新世界。
-TheEnd-
如果你想和他们一样,亲自来到TechBeat分享,或者想推荐身边闪闪发光但是尚未入驻社区的AI工作者——欢迎填写下方表单自荐/推荐,说不定明年的TechBeat红人荟专访,主角就是你!
自荐/推荐单人Talk
团队专场
录播or直播
闭门交流多种方式任你选择!推荐讲者成功也有奖励哦~关于TechBeat人工智能社区▼TechBeat(