• home > theory > CST > AI >

    起底英伟达的发家史:自游戏中来到科学中去(不止AI/元宇宙)

    Author:zhoulujun Date:

    起底英伟达的发家史,看黄老魔激进地每年砸公司总收入的 1 6到CUDA ,造成股价打85折仍然死扛,最后咸鱼翻身后,造成英伟达的传奇之路,AI、元宇宙、科学计算等无处不在

    核弹厂英伟达

    如果我们说一家公司被称为“核弹厂”,你会认为它在造什么?

    在科技界,英伟达获此殊荣:最开始,“核弹”是指英伟达性能炸裂的游戏显卡。随着深度学习的崛起,英伟达的GPU被用于加速各种AI任务,其“造核弹”的能力在各种领域遍地开花。

    这一切的起点,是英伟达创始人黄仁勋对于视频游戏发展的深刻洞察。在世界上还不存在GPU的时候,黄仁勋意识到视频游戏领域的图形计算需求将呈现指数级增长。果不其然,高歌猛进的消费市场需求牵引着英伟达不断挑战更强大的计算技术,终于让其在图形计算和GPU上的巨大投入获得回报,在AI时代,从新药研发到自动驾驶,从自然语言处理到计算机视觉,GPU都可以提供着强大的算力支持。GPU的成功,证明了庞大的游戏市场需求足够驱动着一项新兴技术的诞生和精进

    现在,计算机图形学的发展催生了专用图形处理器 GPU 的产生与普及。在软件上,图形学的基本绘制流水线已成为操作系统的一部分,为各种计算机平台提供显示和图形处理。

    无论你是不是游戏玩家,这件事情是不可否认的:许多重要的技术创新,都来自于游戏开发的历程中。

    视频游戏产业是整个科技界创新最活跃、最令人兴奋的领域之一,诸如英伟达这样以游戏业务起家的科技公司,正在主导整个科技行业最激进的技术革命。

    之所以称之为“激进”,是因为这其中的投入,不见得短期内能带来最直观的经济效果。

    最伟大的芯片公司CEO黄老魔简历

    黄仁勋于1963年2月17日出生于台湾,9岁时全家迁往泰国。他和哥哥被送到美国完成了初中到大学的学业。黄仁勋的舅舅家在美国,所以他后来学习和生活都是和舅舅一起在美国的肯塔基州的一个私立乡村技术学校。这所学校很像一个少年的教养院,很多孩子身上都有刀、早恋、逃课、打架、吸烟等问题。黄仁勋的舍友是学校里的老大,身上有纹身和各种疤痕,但他没有被吓到,反而开始教其他学生功课,并和舍友成为好朋友。舍友一直保护着黄仁勋免受欺负。黄仁勋父母来到美国后,看到孩子上学的学校很差,立刻给他转了学校。黄仁勋发现自己有乒乓球天赋,努力练习并多次参加比赛,在15岁时参加了美国少年乒乓球全球公开赛,并荣获了青年组的双打第三名。虽然后来他没有走乒乓球的这条路,但在学习乒乓球的过程中发现了一个道理,就是一定要专注才能把事情做好

    1983年,他大学毕业立刻就去了当时的半导体行业最火的地方——硅谷。黄仁勋在硅谷第一个加入并上班的公司是AMD,当时就成为了一名芯片设计师。

    1984年,斯坦福大学允许他在上班全职工作的同时利用业余时间在斯坦福大学进修电子工程学硕士学位。黄仁勋立马抓住了这个机会,利用6年时间的努力,终于获得了斯坦福大学的电子工程学硕士。

    1985年,黄仁勋从AMD跳槽到LSI,这是一家做图形处理功能芯片的厂家,也可以说是近代显卡的雏形。当时22岁的黄仁勋在这里用了两年时间学习到技术后又调动到了销售部,并且他还以出色的业绩晋升为集成芯片部门的总经理。所以说,人才到哪都会显现出来,确实黄仁勋真的很厉害。而他在LSI这个公司呢,也学到了很多经验,例如怎么融资、怎么管理团队。

    1992年,曾经工作过的同事克里斯马拉科夫斯基以及卡蒂斯普利姆一起找到了黄仁勋。他们希望黄仁勋可以跟他们一起三个人一起创办一家图像处理芯片公司,并且他们还希望黄仁勋能出任CEO,因为他们觉得黄仁勋又懂技术又懂管理,实在是最佳的CEO人选。当然他们也没有看错,黄仁勋确实很厉害。要不然英伟达能到今天全世界出名,并且拿到了全世界电脑芯片销售的80%以上的份额吗?

    从游戏开启重塑行业之路

    1993年,黄仁勋、Chris Malachowsky 和 Curtis Priem 共同创立了英伟达(NVIDIA)——怀着 PC 有朝一日会成为畅享游戏和多媒体的消费级设备的信念!他们的初衷是研发一种专用芯片,用来加快电子游戏中3D图像的渲染速度,带来更逼真的显示效果。1995年,英伟达的首款产品NV1问世,这款面向游戏主机的多媒体加速器集图形处理、声卡及游戏操作杆等功能于一体。在街机游戏领导者世嘉(SEGA)的助力下,“VR战士(Virtual Fighter)”成为首款在英伟达显卡上运行的3D游戏。

    1993年1月,英伟达公司创立。1993年的2月7日,黄仁勋第一天上班,这也是他的30岁生日。而他呢,也兑现了自己当年对妻子的承诺。不过他这家公司当年很小,而且当时也没什么人看好他,因为在那个时代做图形芯片的公司全球有30多家。

    而黄仁勋创立英伟达公司之后呢,第一个事就是给英伟达找一个标志。英伟达这个公司的标志,我们大家应该都见过,一个眼睛的形状,绿色。而在拉丁语中呢,英伟达其实是“目不转睛”的意思,对应的词语其实就是“邪恶之眼”。并且在古罗马中,邪恶之眼就是绿色的眼睛,代表了嫉妒之心。同时,在古希腊的神话中,英伟达也是一位神的别名,代表的就是复仇。也许当时黄仁勋是想用这个标志和英伟达表述自己的想法,就是要用芯片给大家制作出来无与伦比的视觉效果。

    英伟达出的第一款产品是NV 1。这款产品并不成功。当时的英伟达用的是纹理贴图来做立体效果,虽然内置了声音处理核心,但是性能略差。不过黄仁勋也可能是运气好,有一家公司在这个时候对他们伸出了援助之手。这家公司的名字叫帝盟。他们做的EDGE 3D系列正式采用了NV 1的核心。

    虽然这款显卡的各项指标都不错,不过当时并不吃香,可以说甚至有点失败。因为这款显卡各方面来看,只能算是中规中矩。功能虽多,但没有任何亮点能支撑起大家的购买欲望。“杂而不惊”可以说就是黄仁勋NV 1这颗芯片的最大败笔。而且呢,当时这款芯片还出现了声卡芯片故障的问题,导致口碑严重下滑。

    1995年,微软制定了D3D多边形立体标准,但当时的NV 1芯片不支持D3D,也不支持其他标准,导致英伟达NV 1显卡失败。黄仁勋只能裁员以节省研究经费。然而,NV 1支持世嘉游戏手柄,让世嘉对英伟达产生了兴趣。世嘉给了英伟达700万美元,让他们开发NV 2显卡。

    但在开发过程中,世嘉建议使用多边形立体技术,而黄仁勋坚持使用绘图技术,导致世嘉和他们的合作关系破裂,世嘉转而与3DFX公司合作。最终,NV 2显卡也未能成功研发。但是黄仁勋后来也说:感谢世嘉给的订单,因为如果没有这个订单,英伟达可能已经倒闭了。

    NV 2显卡显卡的失败,让黄仁勋决定背水一战,押注微软的D3D标准APG,并做出了只支持D3D APG的产品,让微软开始喜欢上英伟达。

    1996年,英伟达的NV3推出了支持微软D3D加速的图形芯片riva 128,它支持2D和3D功能,价格实惠,受到了OEM工厂和消费者的欢迎。第二年,riva 128的ZX版本推出,更好地满足了游戏玩家的需求。这也是英伟达第一次在大规模使用和推广,让全世界玩家了解到这家显卡工厂的存在。

    1997年,微软越来越强势,D3D慢慢成为电脑显示标准。然后各大游戏厂商纷纷按照D3D的标准开始制作游戏了。黄仁勋之前的押宝行为还真的就押中了,这也让英伟达越来越出名。而且黄仁勋在这个时候就开始赚得盆满钵满了。英伟达NV3的这次成功也让黄仁勋信心爆棚立刻开始研究新的显卡。

    1998年3月,他很快就拿出了新产品。这也就是历史上非常出名的那个显卡型号TNT。对你没有听错,这其实是一款炸药的名字。

    TNT显卡

    1999年的2月份,TNT2发布,开始慢慢超越了3DFX公司的voodoo显卡。1999年5月份,英伟达售出了第1000万个图形处理器。

    1999年的8月,英伟达开始发布GEFORCE 256。这是世界上首款使用256位显示核心、首款支持硬件几何和光影转换的显卡核心。同时也是英伟达第一次开始使用GEFORCE这个名词。一时之间全世界的目光都集中在英伟达身上。而这个时候的3DFX没有能与英伟达抗衡的产品,可以说从这款显卡开始,英伟达真正意义上成为了全球的显示核心的工厂霸主

    1999年,英伟达发明了图形处理器,由此走上了重塑行业的道路,并在同年推出第一款以GeForce命名的显示核心——GeForce 256,首次提出了GPU概念英伟达将GPU定义为“具有集成变换、照明、三角设置/裁剪和渲染引擎的单芯片处理器,每秒可处理至少1000万个多边形”——如今,这个数字已经增长了700倍。

    英伟达的首款产品WI问世

    进入21世纪,英伟达携NFORCE进军集成显卡市场,先后为微软的Xbox游戏机和索尼的Playstation游戏机开发处理器。

    2004年与暴雪合作发布了采用3D图形技术的游戏,即后来历经近20年仍风靡全球的魔兽世界。彼时,英伟达的技术就已在美国国家航空航天局(NASA)大显身手,借助英伟达技术重建火星地形,将漫游者号传输的数据在逼真的虚拟现实中实现渲染,科学家们得以如同在火星表面自由移动一样探索火星。

    2006年,CUDA架构问世。作为一款革命性的并行计算架构,CUDA能够帮助科学家和研究人员利用GPU的并行处理能力来应对最为负责的计算挑战。15年来,英伟达一直在推进CUDA及其生态发展,对“全栈”进行优化,在GPU、加速库、系统、应用方面不断迭代更新,同时通过扩大加速计算的应用领域,拓展平台之所及。

    2007 年,为了在技术上更加便利开发者,英伟达推出了集成常见开发工具的 CUDA 架构。这个架构在当时技术上过于超前,也因此带来了成本剧增。不仅在硬件产品设计中需要为 CUDA 的逻辑电路服务,每款产品的软件驱动也要做到协同支持。因此,英伟达每年砸到 CUDA 上的研发成本占了公司总收入的 1/6

    与此同时,英伟达所处的外部环境也逐渐险恶。CUDA 推出的第二年,AMD 收购英伟达老对手 ATI,旨在推出 CPU 整合 GPU 的新解决方案。此外市场上也有越来越多竞争对手尝试在自家芯片集成 3D 图形加速器。

    激进的技术投资和外部压力双重叠加之下,英伟达那一年营收骤降 16%,股价从 37 美元跌到 6 美元左右。

    但这些并没有阻止黄仁勋对 CUDA 技术的判断和推进。果然,基于 CUDA 的通用 GPU 在高性能计算领域大施拳脚,随着英伟达陆续在大数据、自动驾驶等领域推出新的产品线,GPU 开始成为更通用的计算设备,尤其在 AI 深度学习浪潮中,GPU 是所谓“AI 三架马车”——数据、算法、算力——中的算力代表。

    过去 30 多年中,正是这些被屡屡视作技术冒险的举措,一步一步将英伟达送上了计算技术及市场的“铁王座”:

    一方面,因游戏显卡而拓展出的动态高分辨率、动态超频、光线追踪、DLSS 等技术,也成为英伟达 GPU 的关键底层能力,开始被广泛运用到电影、自动驾驶、医疗、能源、制造业等更多领域。

    CUDA架构

    随着英伟达加速的应用数量不断增多,对其平台的需求不断增大,英伟达的架构已深入世界上众多大型行业中。以令人惊叹的芯片为起点,英伟达在每个科学、工业、应用领域,都创建完整开发堆栈。超过150个SDK,为游戏与设计、生命与地球科学、量子计算、AI、网络安全、5G、机器人等行业提供服务。加速计算的普及采用也在加快,英伟达在全栈加速和数据中心级架构方面的专业知识可以帮助研究人员和开发者解决更大规模的问题。计算方法的节能高效、架构的多功能性,使其能在AI、量子物理学、数字生物学、气候科学等领域贡献力量。

    另一方面,其市值也从 2011 年的 80 亿美元飙升至 2021 年峰值一度超 8000 亿美元,登顶 2021 年全球市值最大的芯片公司。

    基于深度学习的软件革命

    科学领域中,基于深度学习的软件革命正在发生,这是一个激动人心的时刻,必将产生深远影响。三个相互关联的动态系统,会让我们在计算科学上取得百万倍的飞跃。

    首先,加速计算正在重塑从芯片、系统、加速库,到应用的全栈式计算,这会带给我们50倍提升。其次是推动力,深度学习的兴起,引发现代AI革命,从根本上改变软件。深度学习编写的软件,具有高度并行性,使其更有助于GPU加速,可扩展到多GPU和多节点,扩展到DGX SuperPOD这样的大型系统,使我们的速度又提高5000倍。最后,通过深度学习编写AI软件,预测结果速度能比人工编写软件快1000-10000倍,这彻底改写我们解决问题的方式,甚至是可以解决的问题。

    50倍乘以5000倍,再乘以1000倍,于是我们获得2.5亿倍。通过加速计算,在数据中心大规模实施人工智能,将极大提高模拟性能。

    如何在科学领域应用深度学习?

    科学遵循物理定律,如牛顿三大定律、麦克斯韦定律、热力学定律、欧姆定律、伯努利原理、能量守恒定律等。研究人员正在创建AI模型,使其学习物理并做出符合物理定律的预测,机器学习在改善物理模拟方面的应用,一直在以令人难以置信的速度增长。

    布朗大学的Karniadakis及其研究团队描述了融合物理的神经网络PINN(Physics Informed Neural Network)。加州理工学院的Li、Anandkumar和NVIDIA组成团队,描述了FNO,即傅里叶神经算子(Fourier neural operator),它能学习并近似解算任何偏微分方程;该团队最近结合PINN和FNO的优势,打造遵循物理定律的通用函数学习器PINO。PINO可从原理型物理模拟器或观测数据中学习,经过训练后,可以高速模拟原理型物理模型;重要的是,这个模型具有高度并行性,可以扩展到超大型系统,获得综合的百万倍飞跃。

    虚拟筛选是现代药物研发的一种主要方法,涉及到寻找一种药物化合物,该化合物能与疾病传播途径中的蛋白质相结合,并抑制其功能。虚拟筛选过程是对化合物和蛋白质间的原子间作用力的分子动力学模拟,分子的原子间作用力由其三维结构决定,通过X射线晶体学和冷冻电镜可以揭示人类蛋白质的三维结构,也就是长链氨基酸。这种煞费苦心的方法,只能破解约2.5万种人类蛋白质中的17%。人类疾病的茫茫大海中,如果无法获得大多数人类蛋白质的三维结构,计算机辅助药物研发成果将十分有限。

    PINO

    2021年,AlphaFold和RossettaNet的研究人员教会他们的AI通过氨基酸序列预测蛋白质的3D形状,一夜时间DeepMind就破解超过两万种人类蛋白质。AI模型大幅加速了蛋白质解码的繁琐过程,今天我们已经可以破解数以亿计的动物、植物、细菌的蛋白质。同时,AI模型能了解已知的有效化合物特性,生成其他可能有效的新型化合物。数百万种潜在有效化合物与数十万种蛋白质结构相遇,将打开一个充满新机会的巨大待探索空间。

    药物研发的未来,是对疾病途径、涉及的基因药物与靶标之间相互作用和脱靶相互作用,进行端到端的计算建模。伴随百万倍加速,与用于蛋白质和化学结构预测的机器学习及Physics-ML模拟方法的融合,我们正在见证生物学革命的曙光。


    AI模型大幅加速了蛋白质解码的繁琐过程

    对于气候科学,我们可能最终会有办法模拟10年、20年、30年后的地球气候,及预测气候变化的区域影响,并在为时已晚之前采取行动减缓和适应世界各地在发生的严重干旱。这不是由于缺乏降雨造成的,而是因为气温升高导致蒸发量增加,干燥还会导致更多山火。预测气候变化,制定减缓和适应策略,可以说是当今社会面临的最大挑战之一。

    目前,我们还没有能力准确预测几十年后的气候,虽然人们对物理学知之较多,但模拟的规模仍令人望而生畏。气候模拟比天气模拟要困难得多,天气模拟主要模拟大气物理,可以在几天内验证模型的准确性。长期气候预测必须对地球大气、海洋、水域、冰、土地、人类活动的物理特性及其相互作用进行建模,还需1-10米的模拟分辨率,来整合低大气云将太阳辐射反射回太空等影响。忽略这些因素,会导致长期预测出现重大错误。这比当今任何天气模拟的分辨率高1万-10万倍。我们能建造的计算机不够强大,计算机科学突破迫在眉睫。

    新的深度学习框架NVIDIA Modulus

    NVIDIA Modulus是一种开发Physics-ML模型的框架。它使用物理原理及源自原理型模型和观测结果的数据,训练Physics-ML模型。Modulus经过优化,可以在多GPU和多节点上进行训练,由此生成的模型,物理仿真速度比模拟快1千-10万倍。

    长期气候预测

    借助Modulus,科学家能创建数字孪生模型,以前所未有的方式更好理解大型系统。Modulus可以被用来解决一个重要问题——气候科学。气候变化正在重塑世界,美国最大的水库处20年来最低水位,比过去低150英尺。

    米德湖

    图6 米德湖(图片来源:https://travel.qunar.com/p-oi7588295-midehu)

    加速计算、Physics-ML、巨型计算机系统的结合,可以让我们实现百万倍飞跃,并给我们提供机会。我们将使用原理型物理模型和观测数据来训练AI,以超实时方式预测气候变化。我们可以创造地球的数字孪生模型,可以持续运行以预测未来,用观测到的数据进行校准并改进预测,然后再次预测。

    研究人员利用欧洲中期天气预报中心的ERA5大气数据,训练Physics-ML模型,该模型在128个A100 GPU上训练需4小时,训练后的模型能以30公里的空间分辨率,预测飓风的严重程度和路径。原本需7天才能完成的预测,今天在一个GPU上只需0.25秒,这比模拟快10万倍。数年后,数据有望传输到在Omniverse中运行的地球数字孪生,会有一组Physics-ML模型用于预测气候。

    虚拟世界模拟引擎Omniverse

    互联网本质上是这个世界的数字表达,主要是指2D信息,即文本、语音、图像、视频。这一切即将发生改变,今天我们已拥有创建全新3D世界或为物理世界建模的技术,这些虚拟世界将遵守物理定律,抑或不遵守。在那里,可能是你的朋友或AI与你在一起,我们将像在网络上那样,用超文本从一个世界跳到另一个世界。

    地球数字孪生

    图7 地球数字孪生

    这个新世界规模将比物理世界大很多,我们将购买到3D商品,就如同现在买首2D歌曲或买本书那样。在这个世界里,我们也能购买、持有、出售房产、家具、汽车、奢侈品、艺术品。虚拟世界中,创意人员将制造出比物理世界更丰富多样的东西。

    我们为这些虚拟世界的建设者构建Omniverse,一些虚拟世界将为聚会和游戏而建立,但科学家、创意人员、企业也将可以借此大量建造其他虚拟世界。虚拟世界将如同今天的互联网站那样不断涌现。

    与游戏引擎大不相同,Omniverse面向数据中心规模设计,有朝一日有望达到全球规模。Omniverse的门户是通用场景描述(USD),本质上是一个数字虫洞,将人和计算机连接到Omniverse,并将一个Omniverse世界连接到另一个世界。USD之于Omniverse,就像HTML之于网站。

    Omniverse场景

    图8 Omniverse场景

    面向未来,Omniverse可以连接设计世界。在Adobe世界中创建的东西,可通过Omniverse连接到Autodesk世界中的东西,使设计师能在共享空间中进行协作。一名设计师在一个世界中所做的更改,会实时更新给所有相关联的设计人员,本质上就像3D设计的云共享文档。Omniverse将彻底改变全球4000万3D设计师协同合作方式。

    根据英伟达官网介绍,Omniverse 平台拥有三个主要的应用效果:

    第一, Omniverse 平台可以实现用户和应用程序间的实时协作。在此基础上,开发者无需准备数据便可即时进行更新、迭代和更改,从而简化工作流程;

    第二, Omniverse 可提供实时性的光线追踪效果。这将令作品实时呈现精美且逼真的视觉效果;

    第三Omniverse 平台实现模型可扩展性。开发者只需构建模型一次, 即可在不同设备上渲染。

    就在刚结束的 GTC 大会上,黄仁勋宣布将建立一个「数字孪生」的地球来模拟和预测气候变化,数字孪生名为 Earth Two,简称 E-2。

    数字孪生指的是物理实体在数字世界的孪生强调的是数字世界和物理世界的一致性广泛应用于工业制造领域

    公司可以在Omniverse中建立虚拟工厂,使用虚拟机器人进行运营。虚拟工厂和机器人是其物理复制品的数字孪生,实体版是数字版的复制品,因为它们来自数字化版本。Omniverse数字孪生是我们设计、训练、持续监控未来机器人、建筑、工厂、仓库、汽车的平台。

    2020年底推出以来,Omniverse已被500家公司的设计师下载7万次,社区、公司、工具供应商与我们一起构建Omniverse连接器,14个已投入运行,还有15个即将推出。

    热回收蒸汽发生器(Heat recovery steam generator,HRSG)能够将燃气轮机中的热气转化为蒸汽,从而驱动蒸汽轮机发电。这一过程中一定会发生设备的腐蚀,因此检查和维护必不可少。西门子能源公司通过估算认为,通过准确预测腐蚀,可以将定期维护期间的检查和计划外停机时间减少70%,帮助行业每年缩短5-7天时间,节省近20亿美元。HRSG的腐蚀是多物理场问题,包括流动特性、水化学、操作条件等。通过使用NVIDIA Modulus Physics-ML框架和Omniverse,我们与西门子共同创建了一个数字孪生平台。

    HRSG数字孪生

    图9 HRSG数字孪生

    宝马每分钟生产1辆车,每辆车约有2.5万个零件,工厂车间随时都有500万件零件。2021年4月的GTC大会上,宝马曾向我们展示如何构建雷根斯堡工厂的数字孪生,此后他们已扩展到其他3家工厂,总面积达1000万平方米。他们的工程师正在使用基于Omniverse构建的Isaac Gym,教授他们的机器人新技能。

    宝马数字孪生工厂

    图10 宝马数字孪生工厂

    爱立信正在构建整个城市的数字孪生,以配置、运营、持续优化其5G天线和无线电天线。未来5年,全球将部署1500万个5G基站。爱立信正在使用NVIDIA Omniverse构建数字孪生环境,帮助确定如何放置和配置每个站点,以获得最佳覆盖范围和网络性能。未来,天线将使用AI来学习最佳波束成形和信号强度,以优化城市的服务质量和吞吐量,同时节约能源。

    AI模型和系统构建

    大型语言模型的最新突破,是计算机科学的重大成就之一。在自监督的多模态学习和模型中,有一项令人兴奋的工作正在进行,它可以完成从来没有被训练过的任务,这就是零样本学习。训练大型语言模型需要极大勇气,这要耗资1亿美元的系统,持续数月在数PB数据上训练万亿参数模型,这离不开强大的信念、深厚的专业知识、优化的堆栈。Nemo Megatron是专门训练拥有数十亿、数万亿参数的语音和语言模型的框架。此框架已经过优化,可水平扩展至巨大的系统,保持非常高的计算效率。

    世界上80%的人主要使用20-35种语言,我们可以轻而易举找到100个工业或科学领域,其中有大量用例。瑞典正在努力使其历史数字化;三星正在为南美超过2亿以葡萄牙语为母语的人士打造智能扬声器;VinBrain正在训练用于医疗健康领域的越南语大型语言模型;京东正在构建用于电商业务的大型语言模型,服务其5亿客户;Rakuten正在为其数字服务,构建日语大型语言模型;ServiceNow正在构建聊天机器人;全球最大的手机制造商之一小米,正在打造AI助手。

    为新语言和领域定制大型语言模型,可能是有史以来最大规模的超算应用。有许多AI模型现已成熟,并实现工业化供企业广泛使用,包括计算机视觉、语音识别、推荐、系统、图和树、时间序列模型、生成模型、可变编码器,及现在的大型语言模型。

    对我们大多数人来说,视频会议是当今非常重要的应用,人们每天要做150亿次会议纪要。微软拥有超过2亿活跃用户,我们与微软合作开发了28种语言的实时字幕,对于那些失聪或有听力障碍的人来说,这是价值非凡的功能。每个字幕会议都经过个性化设计,每个会议都能理解人员姓名和特定行话。

    image.png

    视频会议技术正飞速发展,展望未来,视频会议中将采用更多AI技术。除了背景和降噪,AI将被用于实现各种惊人的功能,包括语言翻译、眼神交流、光效调整等。

    AI进步为以前无法想象的任务开辟了新的机会,用计算机行业的说法,边缘就是计算机接触世界的地方。今天,大量边缘应用可以在云中处理,例如人们使用手机连接到云服务。许多边缘应用由于响应时间、数据安全性、可靠性,或不间断高速传输数据的成本等原因,无法过渡到云。边缘应用本质上是机器人应用,它们在与自动驾驶汽车类似要求下执行类似任务。

    未来的医疗设备将会是机器人、AI、Physics-ML、光线追踪,我们所谈论的计算技术的进步也将给医疗设备带来革命性变化。AI将重新构想算法,边缘计算架构将彻底改造设备,随着设备销售逐渐被医疗设备软件即服务的解决方案取代,商业模式将发生变革。这些动态对患者、医院及这个价值2000亿美元行业的仪器制造商来说都是好消息。这个行业需要软件定义的影像平台,就像汽车行业需要软件定义的自动驾驶平台一样。

    全栈式开放自动驾驶平台NVIDIA Drive

    到2024年,绝大多数新电动汽车将具备强大自动驾驶能力。NVIDIA Drive是全栈式开放自动驾驶平台。客户可使用我们的开发流程、驾驶计算机,连接到我们的云地图,或与我们进行端到端合作。我们正在与各类汽车制造企业、SUV、跑车、卡车、客货车、自动驾驶出租车、食品运输车生产商合作。

    我们从世界各地收集PB级道路数据,拥有约3000名训练有素的标记员创建训练数据。尽管如此,生成合成数据仍是我们数据策略的基石。在这里,你可以通过模拟的环绕摄像头看到一个场景,即数据自动标记。Drive Sim Replicator是用于自动驾驶汽车的合成数据生成器,它构建在Omniverse上,模拟镜头模型并考虑运动模糊、滚动快门、LED闪烁、多普勒效应。Replicator能以人类无法实现的方式,在多传感器、速度、距离、遮挡、恶劣天气条件下,追踪移动物体。它非常准确且低成本,在我们已知存在差异的地方进行数据增强。

    地图构建是自动驾驶的关键支柱,它是车队的集体记忆,可被认为是另一个传感器。DeepMap是世界领先的自动驾驶地图构建专家,通过DeepMap和我们现有地图构建团队,我们正在向全球进行扩展。我们同时进行测绘地图构建和车队地图构建,车队地图构建采用众包方式或使用一个车队,通过增量方式逐步构建可信地图,随着每次驾驶,更多路线被感知,并以三维方式重建。

    全栈式开放自动驾驶平台NVIDIA Drive

    图12 左侧是场景,右侧是使用数据训练的Al模型

    测绘地图由一支专门从事地图构建的车队完成,我们将部署一个车队专注于为全球热门区域绘制地图。测绘地图能让车队在启程前就预先做好准备,它还可以作为构建我们云端AI地图系统的真值数据。

    自动驾驶将彻底改变汽车驾驶方式,极大提高道路安全,车内座舱也将发生革命性变化。Maxine的技术将重塑我们与汽车的交互方式。有了Maxine,你的车将成为私人管家,Maxine会准确地向你展示“司机”的想法,使用神经图形重建3D环绕视图,大可对自动驾驶充满信心。Maxine会启动代客泊车模式,寻找停车位停车。Maxine还将拥有我们正在构建的数字人技术,具备非同寻常的智慧。

    metaverse【元宇宙 】



    元宇宙就是「metaverse」。verse 是宇宙,meta 就有点复杂了,来自遥远的古希腊。

    当时,雅典人把研究有形体的事物,叫做「physics」,后来发展成了物理学。而研究没有形体的事物,叫作 metaphysics,翻译叫做形而上学。这就是 meta 的起源。那我

    很多文章都说,元宇宙起源于 1992 年的科幻小说《雪崩》,作者 Neal Stephenson 描绘了一个虚拟的平行数字世界(metaverse),人们用阿凡达(Avatar)在其中生活、工作、娱乐。

    们生活的现实宇宙就是 universe,而对应的虚拟宇宙就是 metaverse。

    但其实对科幻小说流派略有了解的人都知道,这种框架被称为赛博朋克(Cyberpunk)。而开创这一流派的则是 1981 年弗诺·文奇的《真名实姓》和 1984 年的威廉·吉布森的《神经漫游者》。《雪崩》不过是创造了 metaverse 这个单词来命名 cyberspace。

    而在这本小说引入国内时,译者将 metaverse 翻译成了「超元域」。所以「元宇宙」这个概念,只是科幻小说中对于人类未来的一种假设。而这种假设其实是相对悲观的。

    对于人类的未来,科幻小说大致分为两派,「飞船派」和「元宇宙派」。

    所谓的飞船派,或者叫大宇航派,认为人类的未来在广袤无垠的宇宙中,我们的征途是星辰大海。可惜的是,都 2021 年了,人类还是没能飞出地球的引力范围。

    应该说在当下的时间点上,我们对于「元宇宙」这个概念,并没有形成非常明确客观的定义,大家都在谈自身的理解。

    和科幻小说中赛博朋克里的设定不同,现在元宇宙的定义已经不是单纯的虚拟空间。

    区块链技术和 NFT(非同质化代币)的发展,让元宇宙的经济系统得以和现实世界打通。

    也就是说,科幻小说中的游戏达人,可能在现实生活中一文不名,甚至为了买游戏装备节衣缩食,比如《头号玩家》。但现在元宇宙里的达人光凭着游戏里赚到的 NFT,就能在现实生活中养家糊口甚至发家致富。



    总结

    加速计算推动现代AI发展,掀起席卷科学领域和全球各行各业的浪潮。它始于GPU、CPU、DPU三种芯片,涵盖从云端到边缘端的DGX、HGX、EGX、RTX、AGX系统;为300万开发者提供150个加速库,涉及图形、AI、数据科学、机器人等技术领域,为价值100万亿美元各行业提供服务。

    GPU加速、规模化数据中心、融合物理的机器学习等技术,将为我们提供百万倍加速,并彻底变革药物研发和气候科学研究;AI在企业和行业边缘这些作用点实现自动化,将是下一波AI浪潮。

    机器人、自动驾驶车队、仓库、工厂、工业厂房、整个城市,都将在虚拟世界模拟引擎Omniverse数字孪生中完成创建、训练、运行。除此之外,我们将构建数字孪生模型模拟和预测气候变化。我们的上一台超级计算机名为Cambridge 1,即C-1。这台新的超级计算机将名为Earth Two,即E-2。Earth Two,地球的数字孪生,能够在Omniverse中以百万倍速度运行Modulus创建的AI物理模型。我们目前发明的所有技术,均是实现Earth Two必不可少的,我想不出比这更宏伟、更重要的用途。



    参考文章:

    英伟达:自游戏中来,到科学中去 https://zhuimeng.qq.com/web201912/detail-research.html?newsid=15686945

    激进的游戏创新史,成就了多少科技神话? https://k.sina.cn/article_1738690784_67a250e0019016011.html

    英伟达的崛起:从零到占全球显卡销量的80%以上 www.cctvjingji.com/part-152/7278.html




    转载本站文章《起底英伟达的发家史:自游戏中来到科学中去(不止AI/元宇宙)》,
    请注明出处:https://www.zhoulujun.cn/html/theory/ComputerScienceTechnology/AI/8949.html