当前位置:主页 > 六合公式料 >
 
李沐:博士这五年从百度到 CMUMxNet、创业和神奇的答辩

  新智元日前宣布,获6家机构总额达数千万元的PreA轮融资,蓝驰创投领投,红杉资本中国基金、高瓴智成、蓝湖资本、蓝象资本、今日头条跟投。本轮融资将用于新智元团队规模扩充并增加新产品服务线,目标打造ToB的人工智能全产业链服务平台。

  新智元启动新一招聘:COO、执行总编、主编、高级编译、主笔、运营总监、客户经理、咨询总监、行政助理等9大岗位全面。

  简历投递:

  HR微信:

  新智元为COO和执行总编提供最高超百万的年薪激励;为员工提供最完整的培训体系、高于业界平均水平的工资和金。

  加盟新智元,与人工智能业界携手改变世界。

  【新智元导读】前“百度少帅”李沐刚刚从CMU博士毕业,今天上午他发布文章《博士这五年》,谈到这几年读博士的感想和心,他是如何从百度到CMU攻读博士,还有期间参加百度少帅计划、MxNet的诞生、创业以及最后神奇的博士答辩经历。其中穿插着CMU学术AlexSmola、TuomasSandholm、HuiZhang等以及业界大咖AndrewNg、JeffDean、余凯、张潼等精彩“出演”。他向自己提出两个问题:一个是“博士收获最大的是什么”,另一个是“如果可以重来会怎么办”。他的答案是:博士的五年的时间可以专注的把一些事情从技术上做到最好,做出新的突破,这个氛围没有其他地方能给予。在大家忙着赚钱的时候,他的想法是——虽然在国内的业界发展也许早已是土豪,但是人一生要工作五十年,为什么不花五年来追求下理想和情怀呢?

  12年8月提着一个行李箱降落在机场。没找住的地方,也不知道CMU应该怎么去。对未来一片迷茫,但充满乐观。现在,刚完成了博士期间最后的一场报告,在同样的机场,不过是在等待离开的航班。

  回想过去的五年,是的五年,也是和提升的五年。这里我尝试记录这五年主要做过的事情和其中的感想,希望对大家有所。

  第0年:3/11-8/12

  我第一次申请美国的博士是在11年,但拿到的offer并没有特别合适的导师,于是就北上投奔文渊去了。我当时在百度商务搜索部门做广告的点击预估。具体是使用机器学习来预测一个广告是不是会被用户点击。这时候离“大数据”这个词流行还有两年,但百度那时候的数据即使现在来看仍然是大的。我的任务是如何高效的利用数百台机器快速的在数十T的数据上训练出模型。

  当时产品用的算法基于LBFGS,我于是想是不是可以换个更快的算法。没几天就找到个不错。但实现上发现了各种问题,包括性能,,和稳定性。而且那时有的就是一个裸的Linux和很老版本的GCC,什么都是需要从头开始写。花了大量时间做系统优化,算法改动,和线上实验,最后一年后在整个广告流量上上了线。

  现在再回顾会觉得整个一年时间都在打磨各种细节上,有时候为了5%的性能提升花上上千行代码。这些都导致算法过于复杂,有过度设计之嫌。但深入各个细节对个人能力提升很大,而且很多遇到的问题成为了之后研究方向的来源。一些算法上的思考曾写在这里,当时候深度学习刚刚出来,中觉得这个应该是大规模机器学习的未来,不过真正开始跟进是好几年以后了。

  11年12月中的时候突然心血来潮随手把材料重新寄了一遍,就选了CMU和MIT,结果意外收到了CMU的offer。有天在百度食堂同凯哥(余凯)和潼哥(张潼)吃饭,我说收了CMUoffer,在纠结去不去。他们立马说去跟AlexSmola啊,他要加入CMU了,我们给你引荐下。

  记得是离开的前一天才开始打包行李,早上去公司开完会,中午离职,跟小伙伴打招呼说出个国,然后就奔机场了。那天天气特别好,完全不记得前一天雾霾刚爆了表。

  第一年:9/12-8/13

  第一年的主要事情是熟悉和上课。CMU课程比较重,博士需要学8门课,每门课工作量巨大。而且要求做两门课助教,做助教比上课更累。

  这一年上的课中对我最有用的是“高级分布式系统”。之前在ACM班的时候已过很多质量都还不错课,纯知识性的课程一般对我帮助不大。但这门课主要是读论文,然后大家讨论。不仅仅是关于知识,很多是对设计的。大家知道对于系统而言,设计是一门艺术而不是科学,这是设计者审美和哲学的体现。同时系统界历史也是由一波又一波的潮流组成,了解历史的发展以及其中不断重复的规律非常有意义。

  那年这门课上课老师是HuiZhang(之一,20多岁就在CMU任教了,学生包括了IonStoica,他是Spark作者Matei的导师),他有非常好的大局观,对于“Why”这个问题阐述非常到位。我是通过这门课才对分布式系统有了比较清晰的认识。两年之后我偶然发现我的一篇论文也在这门课的阅读列了,算是小成就达成。

  除了上课,更重要是做研究。我去CMU的时候Alex那时还在Google,而且没经费,所以把我丢给了DaveAndersen。于是我有了两个导师,一个做机器学习,一个做分布式系统。

  前面半年都是在相互熟悉的过程。我们每周会一起聊一个小时。前半年因为Alex不在,所以我们只能视频。Alex那边信号经常不好,而且他有和口音,外加思维跳跃,经常我听不懂他说啥只能卖萌傻笑。还是靠着Dave不断的打字告诉我Alex说了什么才度过了前几次的会。

  两个导师风格迥异。Alex是属于反应特别快,通常你说一点,他已经想好了接下来十点,要跟上他节奏很难。一般抛出问题的时候他就想好了好几个解决方法。这时候要证明自己的想法比他的更好不容易,需要大量的沟通和实验数据支撑。我想我大概是花了两年证明了在某些方向上我的方案一般更好,所以这时候他就不那么hands-on了。

  Dave不会给很多想法,但会帮助把一个东西理解透,然后讲得很清楚。因为我研究方向主要是机器学习上,基本上前两年基本都是我在教Dave什么叫机器学习,而且是尽量不用公式那种教法。

  我的第一个研究工作是关于如果划分数据和计算使得减少机器学习求解中的网络通讯量。Alex体现了他的强项,几分钟就把问题归纳成了一个优化问题,然后我们三各自提出一个解法。我做了做实验发现Dave的算法更好。接下来两个月把算法做了很多优化,然后又做了点理论分析就把论文写了。

  可惜这个想法似乎有点超前,虽然我们一遍又一遍的改进写作,但投了好几个会审稿人就是不理解,或者觉得这个问题不重要。那个时候学术界已经开始“大数据”,但我觉得其实大部分人是不懂的,或者他们的“大数据”仍然是几个GB的规模,烤U盘需要十来分钟的那种。

  这是我在CMU的一个工作,我觉得挺有用,但却是唯一没能发表的。

  当时跟我坐同一个办公室的是RichardPeng,他做的是理论研究。我经常跟他讨论问题,然后有了些想法合作了一个工作。大体思想是把图压缩的快速算法做到矩阵的低秩近似上。这个工作写了三十页公式但没有任何实验,我主要当做写代码间隙的悠闲娱。


上一篇:六合免费资料大全
下一篇:一级建造师《工程经济》:1Z103054施工图预算的编制方法

 
最新资讯
一级建造师《工程经济》:1Z1030
李沐:博士这五年从百度到 CMUMx
六合免费资料大全
工控产品-高级光密度计-LS117
沈阳机床集团董事长关锡友说
热门资讯