听到这些真的让我感到很不舒服。谢谢您的介绍,但我不喜欢听到关于我自己的事情。
就像一场表演一样,好吧,也许你们可以鼓掌。
你们中有多少人知道英伟达是谁吗?
你们当中有多少人知道 GPU 是什么吗?
好的,很好,我不需要改变我的讲话。
女士们、先生们、罗森鲍姆校长、尊敬的各位教职员工、尊敬的来宾、自豪的家长们,最重要的是,加州理工学院 2024 届的毕业生们。
对于你们来说这真是快乐的一天,你们得显得更兴奋一些。你们知道你们将从加州理工学院毕业,这是伟大的理查德·费曼、莱纳斯·鲍林,还有对我和我们行业影响很大的人,卡弗·米德的学校。
是的,这是一件大事。今天是一个令人无比自豪和喜悦的日子,这是你们所有人的梦想成真。但不仅仅是对于你们,因为你们的父母和家人也做出了无数的牺牲,看到你们达到这个里程碑。所以让我们借此机会祝贺他们,感谢他们,并让他们知道你爱他们。
你们不要忘记这一点,因为你们不知道还要在家里住多久。你们今天要非常感恩。作为一名自豪的家长,我曾很高兴我的孩子们没有搬出去,每天看到他们真是太好了,但现在他们搬走了,这让我很难过。所以希望你们能花一些时间陪伴父母。
你在这里的历程证明了你的性格、决心、愿意做出牺牲,为你们的梦想而努力,你们应该感到自豪。做出牺牲的能力、忍受痛苦和磨难,你们在生活中将需要这些品质。
你们和我有一些共同点。首先,英伟达的两位首席科学家都来自加州理工学院。我今天发表这次演讲的原因之一是因为我在招聘。我想告诉你们,英伟达是一家非常棒的公司,我是个很好的老板,深受人们喜爱。来英伟达工作吧。
你们和我都对科学和工程充满热情,尽管我们相差大约 40 岁,我们都正处于事业的巅峰。对于一直关注英伟达和我本人的各位,你知道我的意思。只是就你们的情况来说,你们还要攀登更多的高峰。
(中文全版)英伟达(Nvidia)创始人黄仁勋在加州理工科学院AI人工智能时代的演讲
我只是希望今天不是我的巅峰,还不是巅峰。所以我会一如既往地努力工作,以确保我未来能攀登更多的高峰。去年,我很荣幸在台湾大学发表毕业典礼演讲,我分享了几个关于英伟达历程的故事。我们所学到的教训对毕业生来说可能是有价值的。
我必须承认我不喜欢给出建议,尤其是对别人的孩子。所以我今天的建议将在很大程度上隐藏在一些故事里,我很享受的,以及一些我享受的生活经历。我相信,我是当今世界任职最久的科技首席执行官。31 年来,我努力保持生意不破产,不感到无聊,也不被解雇。因此我很荣幸能享受许多的人生经历。
从创建英伟达开始,从无到今天的这样。我谈到了创建 CUDA 的漫长路,一个编程模型。我们花了 20 多年发明的编程模型,这正在彻底改变当今的计算技术。我谈到了一个非常公开的、取消了的我们所参与的世嘉游戏机项目以及智力的诚实。
我知道这是理查德·费曼所关心的,非常深入地讨论过的,也经常谈论过的,正是智力的诚实和谦逊拯救了我们的公司。如何撤退,战略性的撤退,是我们最好的策略之一。所有这些都是我在毕业典礼上谈到的违反直觉的教训。但我鼓励毕业生参与人工智能,我们这个时代最重要的技术。我稍后会再谈一下这一点。
但你们都知道人工智能,很难不沉浸其中、被它包围,并对此进行许多的讨论。当然,我希望大家都用它、玩它,取得令人惊讶的结果和一些奇迹。有些令人失望,有些令人感到惊讶,但你必须享受它,你必须参与其中,因为它进展得太快了。这是我所知道的唯一技术,即同时以多指数级方式推进。所以技术变化非常非常快
所以我建议台湾大学的学生们要跑不要走,并参与人工智能革命。然而,一年后,它发生的变化令人难以置信。所以今天我想跟你们分享我的观点。我的观点是,一些重要的事情正在发生,你们即将毕业的,这些都是正在发生的非凡之事。你们应该有一个直观的理解,因为这对你们来说会很重要,这对于这个行业来说会很重要,希望你们能充分利用眼前的机遇。
电脑产业正在从其基础上转型,实际上来自于基柱。从基柱开始,一切都在发生变化,并且跨越每个层面,很快,每个行业也都将发生变革。原因很明显,因为今天的计算机是仅有的最重要的知识工具,它是每个行业和每个科学领域的基础。如果我们在如此深刻地改造计算机,当然,它会对每个行业产生影响。
我稍后会谈到这一点。当你们进入业界时,重要的是你知道所正在发生的现代计算追溯到 IBM System 360。那是我所学的建构手册。这是一本你不需要学的构建手册,许多更好的文档,以及对计算机和构筑的更好的描述,自那时起就被介绍。但 System 360 在当时非常重要。事实上,System 360 的基本思想、它的架构,System 360 的主要思想、架构和策略至今仍在主宰着计算机行业。它是在我出生一年后推出的。
80 年代,我是第一代超大规模集成电路工程师之一,学会了设计芯片和来自米德和康威的里程碑式教科书。我不确定这里是否还教授这门课程,它应该是在超大规模集成电路系统的介绍中。基于加州理工学院卡弗·米德的开创性工作,芯片设计方法和彻底改变集成电路设计的教科书,它使我们这一代人能够设计出超级芯片,并最终设计出 CPU。
CPU 导致计算能力呈指数级增长、性能、令人惊讶的技术进步,这就是所谓的摩尔定律,推动了信息技术革命。我们参与的工业革命,我这一代人也参与其中,实现了世界上前所未见的事物的大规模生产,大规模生产那些看不见、容易复制的东西。软件的大规模生产催生出了一个价值 3 万亿美元的产业。
当我坐在你们这个位置时,信息技术产业还很小,透过销售软件你能赚钱的想法只是幻想,但今天它却是最重要的商品之一,最重要的技术,以及我们行业生产的产品创造。然而,NARD 缩放、晶体管缩放的极限和指令级并行性降低了 CPU 的性能,CPU 效能的提升正在减缓。此时,当计算需求持续呈指数级增长时,这种指数级的增长差距在计算需求与计算机能力之间,如果不加以解决,计算能源消耗和成本、通胀最终将扼杀每个产业。正如我们所言,我们看到了计算通胀的非常明显的迹象。
20 多年的先进的英伟达 CUDA,英伟达的加速计算提供了一条前进的道路。这就是我来这里的原因,因为最终,行业意识到,正是在此时加速计算的令人难以置信的有效性。几十年后,我们终于在见证计算的通胀。通过将耗时的算法卸载到一个 GPU,专注于并行处理的,我们通常可以实现 10 倍、100 倍,有时 1000 倍的加速,节省金钱、成本和能源。
我们现在在加速来自电脑图形的应用领域,当然还有来自射线追踪、到基因定序、科学计算、天文学、量子电路模拟、SQL 资料处理、甚至 PANDAS、资料科学,加速计算已达到一个临界点,这是我们对计算机行业的第一个伟大贡献。我们对社会的第一个伟大贡献,加速运算。它现在为我们提供了一条永续计算的前进道路,其中成本会继续下降,因为计算需求不断增长,一百倍地,一百倍的时间、成本或能源的节省。
加速运算的开放必将引发的其他地方的新发展。我们只是不知道那是什么,直到深度学习进入我们的意识。一个全新的计算世界出现了,杰夫·辛顿、亚历克斯·克里泽
夫斯基和伊利亚·苏斯克弗使用英伟达 CUDA GPU 训练 AlexNet 震惊了计算机视觉界,赢得 2012 年 ImageNet 挑战赛,这是重要时刻。深度学习的大爆炸,一个标志人工智慧革命开始的关键时刻。
我们在 Aexnet 后的决定改变了我们的公司,是值得注意的事情。我们在 AlexNet 后的决定改变了我们公司,而且看来改变了其他一切。我们看到了深度学习的潜力,并相信,正是相信透过原理思维,相信透过我们自己对深度学习可扩展性的分析。我们相信这种方法可以学习其他有价值的功能,深度学习可能是一种通用函数学习器。
有多少问题很难,或者无法用基本第一原理来表达。当我们看到这个的时候,我们想这是一个我们真正得关注的技术,因为它的局限性可能仅受模型和数据规模的限制。然而,当时也存在一些挑战。这是 2012 年,2012 年刚过不久。我们如何可能探索深度学习的极限,无需构建这些庞大的 GPU 集群?当时我们是一家小公司,构建这些大规模 GPU 集群可能要花费数亿美元。如果我们不这样做,如果我们扩大规模,没有保证它能一定有效。然而,没有人知道深度学习的规模能达到多大。如果我们不建造它,我们就永远不知道。
这是其中之一,如果你建造它,他们会来吗?我们的逻辑是,如果我们不建造它,它们就不能来。因此我们致力于基于我们最初的原则信念和分析。我们已经到了关键点,我们相信这会非常有效。当公司相信某件事时,我们就应该对此采取行动。所以我们深入研究深度学习,并在接下来的十多年里,系统地重新发明了一切。我们重新发明了每个计算层,从 GPU 本身开始,现代 GPU 的发明,这与过去的 GPU 有很大不同。我们首先发明的,我们继续发明了计算的几乎所有其它方面,互连、系统、网络,当然还有软件。
我们投资了数十亿美元,我们向未知领域投资了数十亿美元。数千名工程师十多年来,致力于深度学习以及深度学习的推进与扩展。我们并不清楚这项技术能走多远,我们投资了数十亿美元。我们设计并制造了超级计算机,探索深度学习和人工智能的极限。2016 年,我们发布了 DGX-1,我们的第一台人工智能超级计算机。我向旧金山的一家初创公司交付了第一台,一家无人知晓的创业公司,我的一群朋友正在研究人工智能,一家名为 OpenAI 的公司。
2022 年,AlexNet 诞生 10 年后,之后计算量增加了一百万倍。一百万倍。如果你能想象一下,如果你的笔记型电脑会是什么样子,能力强一百万倍?一百万倍之后,OpenAI 推出了 ChatGPT。人工智能成为了主流。在这十年多中,英伟达从从一家图形公司改造了我们自己。你们很多人可能第一次知道我们是 GPU 制造商,到现在的一家建立海量数据中心的人工智能公司,规模型的超级电脑。
我们彻底改变了我们的公司。我们还彻底改变了计算方式。当今计算的基本方式已经发生了根本性的改变。计算堆栈现在使用 GPU 处理大型语言模型,在超级计算机上进行训练,而不是 CPU,它们是程序员编写的处理指令。我们现在正在创建人类无法编写的软件。我们现在正在创建能够完成人类无法完成的事情的软件。想象一下,即使只是 10 年前,计算机现在是意图驱动而不是指令驱动。告诉计算机你想要什么,它就会找到答案。和人类一样,人工智能应用程序将理解任务、推理、计划,并组织一个大型语言模型团队来执行任务。
未来的应用程序将与我们做事的方式非常相似,组建专家团队、使用工具、推理和计划,并执行我们的使命。软件以及软件的功能已经彻底改变,甚至我们的行业,随着它的变化和转型,创造了另一个行业。这是一个世界上前所未有的行业。一个行业正在我们眼前形成。人工智慧的输入和输出是词元。对于在座的所有工程师来说,你们都知道我的意思。这些是嵌入智能的浮点数。一些公司现正在建造一种以前不存在的新型数据中心,专门用于生产智能词元,本质上就是人工智能工厂。
就像尼古拉·特斯拉发明的交流发电机,过去工业革命的,我们现在有了人工智能词元生成器,它们将成为新工业革命的工厂。这里有大型工业生产能源和电力。我们现在有一种庞大的产业生产一些叫做软体的看不见的东西。在未来,在不久的将来,我们将有生产、制造的行业,智能词元、人工智能生成器。一种新的计算模型已经出现,一个新的行业已经出现,因为我们从第一原理推理,形成了我们对未来的信念,并根据这些信念采取行动。
下一波人工智能浪潮是机器人技术。除了语言模型之外,人工智能还,还有物理世界模型。我们与数百家机器人制造公司合作,机器人车辆、拾放臂、人形机器人、甚至整个巨大的仓库都由机器人控制。但与我们的人工智能工厂战略和经验不同,这确实是透过推理和深思熟虑的行为形成的。我们的机器人的历程源自于一连串的挫折。
正如你们所知,英伟达发明了 GPU,这是在我们发明人工智能工厂之前。我们对计算机行业的第一个伟大贡献是,通过可编程着色器重塑计算机图形。我们在 2000 年发明了 GPU 和可编程着色。我们希望将 GPU 集成到每台计算机中。所以我们开始将 GPU 与主板芯片结合起来。我们推出了一款出色的集成显卡,当时适用于 AMD CPU。我们的芯片组业务立即获得了成功。我认为它几乎是在一夜之间就从零增长为十亿美元。
但突然之间,AMD 想要控制电脑中的所有技术。我们想保持独立,所以他们收购了 ATI,不再需要我们。我们转向了英特尔,这也许不是个好主意。但我们转向了英特尔,并协商了连接英特尔 CPU 的许可。苹果对我们正在开发的产品感到兴奋,并要求我们和他们一起开发一台新电脑,这就是第一款 MacBook Air。英特尔看到了发生的事情并决定,他们不想让我们再这样做了,所以他们终止了我们的协议。
好吧,我们又一次改变了主意,这次我们获得了 ARM 的许可。我们打造了一款低功耗单晶片系统、一款移动单晶片系统,世界上第一个本质上是计算机的单片系统。一台功能齐全的计算机,这真是令人难以置信。我们的芯片让谷歌兴奋不已,他们要求我们开发一款新设备,结果成为了 Android 行动装置。高通决定不让我们这么做,所以他们不想让我们连接他们的调制解调器。很难建造一个没有调制解调器连接的移动装置,而且当时也没有其他长期演进技术调制解调器公司,所以我们不得不退出移动设备市场。
嗯,这几乎是在一年里发生的。我们想过建造一些东西,它将获得巨大的成功,产生巨大的兴奋感。一年后我们被赶出了这些市场。嗯,没有更多的市场可以求助,我们决定建造一些东西,我们确定没有顾客的地方。因为有一件事你绝对可以保证,在没有顾客的地方,也没有竞争对手,没人会在乎你。所以我们选择了一个没有客户的市场,一个价值 0 亿美元的市场,它是机器人技术。我们制造了世界上第一台机器人计算机,处理无人理解的算法,当时被称为深度学习。这已经是 10 多年前的事了。
十年后,我非常开心,凭借我们已建立的以及创造下一波人工智能浪潮的机会。更重要的是,我们发展了敏捷性和韧性的文化。一次又一次的挫折,我们摆脱了它并滑向下一个机会。每次,我们都获得了技能并增强了品格。我们加强了我们的企业品格。我们的公司很难分散注意力,也很难气馁,而且没有被挫折击退。
如今,我们面临的情况看起来不像是一个机会。讽刺的是,我们今天建造的机器人计算机甚至不需要图形,这就是我们开始旅程的原因。那么我们今天的情况,告诉我们一些事情并教会我们一些东西。正如理查德费曼所说,世界是不确定的,世界可能会不公平,并会给你严厉的惩罚。迅速甩掉它。显然,你们对你的书籍过于关注了。迅速甩掉它。拜托,这很聪明,我逗得自己笑了。
还有其他机会,或者创造一个机会。让我再给你讲一个故事。我曾经在我们的一个国际站点工作过,每年夏天一个月。当我们的孩子十几岁的时候,我们在日本度过了一个夏天,周末我们参观了京都和银庙。如果你们还没有机会去,那一定要去,它以其精美的苔藓花园而闻名。我们去的那天是典型的京都夏日,闷热潮湿,黏糊糊的,热量从地面散发出来,空气依然浓重,一动不动。我们和其他游客一起漫步在精心修剪的苔藓花园,我注意到了那位孤独的园丁。
现在,记住,苔藓花园,这是银庙,苔藓花园非常大,大概和这个草地一样大,它拥有最大的收藏,几乎涵盖世界上所有种类的苔藓。而且它保养得非常精致。我注意到孤独的园丁蹲着,用竹镊子小心地摘取苔藓,放进竹箩里。你必须用竹镊子,你知道,就这一个园丁,篮子看起来是空的。嗯,有那么一刻,我以为他在采摘想象中的苔藓,变成一堆想象中的死苔藓。于是我走向他,我说:你在干什么?他用英语说道:“我正在捡死苔藓。”我正在照料我的花园。我说,但是你的花园这么大啊。他回答说:“我已经照顾我的花园 25 年了。”我有充足的时间。嗯,这是我一生中最深刻的教训之一。
它确实教会了我一些东西,这位园丁致力于他的手艺并从事其一生的事业。当你这样做的时候,你就有充足的时间。每天早晨,我每天早上都会做同样的事情。我每天早晨开始,首先完成我最优先的工作。我有一个非常明确的优先事项清单。我首先从优先级最高的工作开始,在我上班之前,我的一天就已经很成功了。我已经完成了我最重要的工作,并能用我的每一天去帮助别人。当人们因为打扰我而道歉时,我总是说我有充足的时间,事实也确实如此。
2024 届毕业生们,我几乎想象不出还有谁比你们对未来有更充分的准备。你们献出了自己,你们努力工作,你们获得了世界一流的教育,来自世界上最负盛名的学校之一。当你进入下一个阶段时,吸取我学的东西,希望它们能够对你有所帮助。我希望你们相信一些事情,一些不同寻常的事情,一些尚未探索的东西,但要让它知情并让它有理由,然后全心全意地去实现它。你可能会发现你的 GPU,你可能会发现你的 CUDA,你可能会发现你的生成式人工智慧,你可能会找到你的英伟达。
我希望你们将挫折视为新的机遇。你的痛苦和磨难会增强你的性格、你的韧性和敏捷性,它们就是终极的超级能量。我最看重自己的能力的是,智力并不是排在首位的,我忍受痛苦和折磨的能力,我能够长时间地专注于某件事,我应对挫折和发现眼前机遇的能力,我认为是我的超级能力。我希望它们也是你们的。
我希望你们能找到一门手艺。第一天的决定并不重要,短期内做出决定并不重要,但我希望你能找到一门手艺,你要用一生去完善,磨练技能,并让它成为你一生的事业。最后,优先考虑好你的生活。有很多事情正在发生,有很多事情要做,但要优先考虑你的生活。你将有充足的时间去做重要的事情。恭喜 2024 届的毕业生,加油吧。