9月20日23:00首播(9月21日10:00重播)的秋季 GTC22 主題演講上，黃仁勛用了一個半小時的時間，為大家展示了NVIDIA RTX、NVIDIA AI 和 NVIDIA Omniverse 的最新進展 ，還包括它們對人工智能領(lǐng)域新突破的幫助，以及大量應(yīng)用落地。

　　下面，一起來梳理下本次 GTC 主題演講上發(fā)布的振奮人心的成果。

　　PART.

　　0 1

　　第 3 代 RTX 架構(gòu) --  Ada Lovelace

　　NVIDIA 宣布推出第3 代 RTX 架構(gòu) —— Ada Lovelace ，單個 Ada GPU 即可支持 RacerX 的運行。這代 RTX 以數(shù)學(xué)家 Ada Lovelace 的名字命名，她被公認(rèn)為世界上第一位計算機程序員。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA 工程師與 TSMC 緊密合作，創(chuàng)建針對 GPU 優(yōu)化的 4N 工藝，此工藝讓我們能夠集成 760 億個晶體管和超過 18000 個 CUDA 核心，比上一代 Ampere 多 70%。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　最新架構(gòu) Ada Lovelace 的主要更新如下：

　　01

　　SER（著色器執(zhí)行重排序）能力

　　Ada 的 SM 多單元流處理器新增Shader Execution Reordering(SER，著色器執(zhí)行重排序)能力，可以實時重新調(diào)度任務(wù)，通過即時重新安排著色器負(fù)載來提高執(zhí)行效率，從而更好利用 GPU 資源，把光追速度提升 2-3 倍，整體游戲性能可以提升 25%。

　　02

　　第三代 RT Core

　　全新第三代 RT Core 實現(xiàn)了兩倍的光線與三角形求交性能以及兩個全新的重要硬件單元：全新的 Opacity Micromap 引擎可以把光線追蹤的 Alpha-test 幾何性能提升 2 倍，全新的 Micro-Mesh 引擎可提升幾何圖形的豐富度，而不會帶來 BVH 構(gòu)建和存儲資源的更多消耗。

　　03

　　第四代 Tensor Core

　　全新第四代 Tensor Core 新增了 Hopper FP8 Transformer Engine，可以實現(xiàn) 1.4  petaFLOPs 算力，AI 性能翻倍。

　　04

　　DLSS 3

　　Ada 引入了 DLSS 3，這個全新 AI 功能可生成全新幀，而不僅僅是像素。

　　DLSS 3 包含四個組件：

　　新的光流加速器

　　游戲引擎運動矢量

　　卷積自動編碼 AI 幀生成器

　　NVIDIA Reflex 超低延遲流水線

　　DLSS 3 會處理新幀和上一幀，以了解場景的變化情況。光流加速器為神經(jīng)網(wǎng)絡(luò)提供了像素級的幀到幀的運動方向和速度信息。此后，通過綜合游戲中的幀以及幾何圖形和像素的運動矢量，并將其輸入至神經(jīng)網(wǎng)絡(luò)，就能計算出中間幀了。

　　DLSS 3 在不涉及圖形管線處理的前提下生成全新的幀，相較于單純的渲染，游戲性能最高可提升 4 倍，DLSS 3 可獨立于游戲內(nèi)容直接生成全新幀，因此這項技術(shù)可以令無論是對 GPU 性能要求較高的游戲，還是受到 CPU 限制的游戲，都將從該技術(shù)中受益。對于受到 CPU 限制的游戲(例如物理計算密集型游戲或大型場景游戲)，DLSS 3 令 Ada GPU 能夠為玩家?guī)磉h(yuǎn)高于 CPU 可計算的幀率。DLSS 3 是精彩卓著的神經(jīng)網(wǎng)絡(luò)渲染創(chuàng)新之一。

　　05

　　雙 NVIDIA 編碼器（ NVENC ）

　　雙 NVIDIA 編碼器(NVENC)將輸出時間至多縮短一半，并支持AV1。越來越多的公司，如 OBS、Blackmagic Design DaVinci Resolve、Discord 等都已在采用 NVENC AV1 編碼器。

　　重磅推出 GeForce RTX 40 系列 GPU！

　　在宣布 Ada Lovelace 架構(gòu)之后，NVIDIA 還宣布推出了萬眾矚目的 NVIDIA GeForce RTX® 40 系列 GPU ，旨在為游戲玩家和創(chuàng)作者提供革命性性能，其中新旗艦產(chǎn)品 RTX 4090 GPU 的性能相較上一代提升最高可達 4 倍，將于 10 月 12 日上市。

　　作為全球首款基于全新 Ada Lovelace 架構(gòu)的 GPU ，RTX 40 系列在性能和效率上都實現(xiàn)了巨大的代際飛躍，意味著實時光線追蹤和利用 AI 生成像素的神經(jīng)網(wǎng)絡(luò)渲染的新時代已然來臨。

　　PART.

　　0 2

　　Omniverse 相關(guān)發(fā)布

　　Omniverse 是用來構(gòu)建和運行元宇宙應(yīng)用的平臺，無論數(shù)字世界和現(xiàn)實世界在何處交匯，Omniverse 都能發(fā)揮作用。

　　01

　　Omniverse應(yīng)用：RTX Remix

　　“傳送門(Portal)”RTX 版是一款游戲 MOD，是NVIDIA 使用 NVIDIA Omniverse 搭建的。MOD 是一種受眾龐大的游戲文化，人人都可以成為創(chuàng)作者。NVIDIA為游戲 MOD 打造了一款名為 RTX Remix 的 Ominverse 應(yīng)用，啟動游戲并將游戲捕獲到已加載至 Omniverse 的 USD 文件中。

　　一旦進入 RTX Remix，既可以使用 AI 輔助工具集包含的深度學(xué)習(xí)模型來提升紋理和素材的分辨率，也可以使用一個 AI 模型把材質(zhì)轉(zhuǎn)換為具有精確物理屬性的材質(zhì)。同時，豐富的 Omniverse 創(chuàng)意工具生態(tài)系統(tǒng)可用于增強游戲素材。完成后，導(dǎo)出 RTX Mod 包，即可享受精彩紛呈的 RTX 游戲之旅。

　　RTX Remix 是非常出色的技術(shù)，同時也是非常先進的 MOD 工具。“傳送門(Portal)”RTX 版和 RTX Remix 將在 Ada 發(fā)布后不久推出。

　　02

　　NVIDIA RacerX

　　NVIDIA RacerX 是基于 NVIDIA Omniverse 構(gòu)建的、單 GPU 運行的全交互式仿真展示。RacerX 是基于物理定律的仿真，其中光照、反射和折射均采用光線追蹤技術(shù)，沒有經(jīng)過任何預(yù)渲染和烘焙，汽車的零部件和連接件采用單獨建模，他們的物理特性會影響到操控的運動表現(xiàn)。環(huán)境中的事物不是靜態(tài)道具，而是剛體、布料和流體仿真，煙霧、火焰和灰塵是體積仿真。RacerX 就是基于仿真的。未來的游戲?qū)⒉辉傩枰A(yù)烘焙，未來的游戲?qū)⑹欠抡娴氖澜纭?/p>

　　NVIDIA RacerX 由 30 位藝術(shù)家創(chuàng)建而成，采用了 11 種工具，支持藝術(shù)家跨 12 個時區(qū)開展協(xié)作，他們僅在 3 個月內(nèi)就完成了創(chuàng)建工作。該團隊通過 Omniverse 進行工具連接和協(xié)作，并創(chuàng)建了自定義的 3D 制作流程用來編排和管理工作。

　　03

　　Omniverse 重大更新

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　>>  支持 Ada Lovelace GPU ，在光線追蹤和大型場景性能方面實現(xiàn)巨大飛躍;

　　>>  基于 GAN 和擴散模型的新型神經(jīng)渲染工具 ；

　　>>  OmniGraph 是一個圖形執(zhí)行引擎，可通過程序化的方式控制行為、動作和行動;

　　>>  Omniverse Physics 的重大更新，用來處理復(fù)雜的多連接部件對象的運動情況;

　　>>  全新的 Cloud XR ，支持在 VR 中實現(xiàn) Ada 強大的光線追蹤功能;

　　>>  首個用于合成數(shù)據(jù)生成和數(shù)字孿生模擬的SimReady 素材庫；

　　>>  Replicator 是備受青睞的 Omniverse 應(yīng)用之一，用來生成合成數(shù)據(jù)

　　從而訓(xùn)練自動駕駛汽車、機器人和各種計算機視覺模型;

　　>>  新的 Omniverse JT 連接器 。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　Siemens 發(fā)明了 JT，這是產(chǎn)品生命周期管理的行業(yè)標(biāo)準(zhǔn)語言，也是 NX、Creo、Catia 和 Inventor 等 CAD 系統(tǒng)的互操作格式。JT 連接器使得工業(yè)和制造業(yè)可以運用 Omniverse。Omniverse 是一個企業(yè)平臺，該平臺適用于從產(chǎn)品設(shè)計和造型到工程策劃、制造、營銷和運營的整個產(chǎn)品生命周期，無論是制作電影或游戲、生產(chǎn)汽車或任何消費品，還是建立和運營工廠和倉庫，其核心都是超級復(fù)雜的 3D 制作流程。

　　04

　　Omniverse 計算平臺

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA Omniverse 計算平臺由三部分構(gòu)成：

　　RTX 計算機(供創(chuàng)作者、設(shè)計師和工程師使用)

　　OVX 服務(wù)器(用來托管與 Nucleus 數(shù)據(jù)庫的連接并運行虛擬世界模擬)

　　NVIDIA GDN(進入 Omniverse 的門戶)

　　其中，全球圖形交付網(wǎng)絡(luò)(即 GDN)能夠覆蓋 100 個地區(qū)，為之提供響應(yīng)靈敏的超快 RTX 圖形。通過 NVIDIA RTX PC、云端的 NVIDIA GPU 和 NVIDIA GDN 可以打造覆蓋全球的 Omniverse 計算平臺。

　　05 NVIDIA Omniverse Cloud

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA 宣布推出 NVIDIA Omniverse Cloud， 這是一套軟件和基礎(chǔ)設(shè)施即服務(wù)( Iaas )套件，可連接在云上、本地或單個設(shè)備上運行的 Omniverse 應(yīng)用。此外，Replicator 和 Farm 也可在云上運行。如今，用戶可在 AWS 上使用 Omniverse Cloud Replicator 和 Farm 容器，NVIDIA 還將這些容器作為托管服務(wù)提供。

　　06

　　第二代 OVX 計算機

　　面向元宇宙應(yīng)用，黃仁勛宣布推出第二代 OVX 計算機，由全新 Ada Lovelace L40 數(shù)據(jù)中心 GPU 和增強的網(wǎng)絡(luò)技術(shù)提供支持，以提供突破性的實時圖形、AI 和數(shù)字孿生模擬功能。

　　借助 48GB 超大幀緩沖區(qū)，擁有 8 個 L40 GPU 的第二代 OVX 將能完成超大的 Omniverse 虛擬世界仿真。L40 GPU 已全面進入量產(chǎn)，第二代 OVX 系統(tǒng)將于明年年初向市場提供。

　　PART.

　　0 3

　　自動駕駛與 AI

　　01 新一代自動駕駛芯片 NVIDIA DRIVE Thor

　　本次 GTC 宣布的 NVIDIA DRIVE Thor 的吞吐量達到 Atlan 的 2 倍，整型峰值性能可達2000 TOPS，F(xiàn)P8 精度的峰值性能可達到 2000 TFLOPS，同時降低整體系統(tǒng)成本。Atlan 是 NVIDIA 于 2021 年推出的 1000 TOPS 的 SoC。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　實現(xiàn)這些目標(biāo)離不開三個因素：Grace、Hopper 和 Ada Lovelace，其中 Grace 提供了令人驚嘆的 Transformer 引擎、ViT 的快速變革，Ada 中的多實例 GPU 有助于車載計算資源的集中化，將成本降低數(shù)百美元。

　　NVIDIA DRIVE Thor 采用很多新技術(shù)，它可以被配置為多種模式，將其 2000 TOPS 和 2000 TFLOPs 全部用于自動駕駛工作流。同時可以將其配置為一部分用于駕駛艙 AI 和信息娛樂，一部分用于輔助駕駛。Thor 中的多計算域隔離允許并發(fā)、對時間敏感的多進程無中斷運行?？梢栽谝慌_計算機上同時運行 Linux、QNX 和 Android。

　　此外，Thor 還集中了眾多計算資源，降低成本與功耗的同時實現(xiàn)功能飛躍。目前，汽車的停車、主動安全、駕駛員監(jiān)控、攝像頭鏡像、集群和信息娛樂均由不同的計算設(shè)備控制。而未來，這些功能將不再由單獨的計算設(shè)備控制，而是由在 Thor 上運行、并隨時間推移不斷改進的軟件統(tǒng)一控制。

　　Thor 將從 2025 年開始為自動駕駛汽車的集中式車載計算機提供支持。與 Orin 一樣，Thor 處理器將應(yīng)用于機器人、醫(yī)療儀器、工業(yè)自動化和邊緣 AI 系統(tǒng)領(lǐng)域。

　　02 NVIDIA DRIVE 平臺

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　NVIDIA DRIVE 是一個面向自動駕駛汽車開發(fā)與部署的端到端平臺，在開發(fā)方面包含了 Replicator 合成數(shù)據(jù)生成、DRIVE  Sim 和 DRIVE  Map，在部署方面包含了全棧駕駛和車內(nèi) AI 應(yīng)用、AI 計算機和 Hyperion 自動駕駛汽車參考架構(gòu)。

　　麗臺科技

　　Drive Map使自動駕駛汽車能夠更安全地導(dǎo)航

　　NVIDIA DRIVE  迎來了一系列功能更新，首先是名為 Neural Reconstruction Engine 的 AI 工作流，已成為了 DRIVE  Sim 的一項主要功能。它可以根據(jù)記錄的傳感器數(shù)據(jù)構(gòu)建 3D 場景，在將 3D 場景導(dǎo)入 DRIVE  Sim 之后通過人工創(chuàng)建或 AI 生成的內(nèi)容對其進行增強。另外，這個從視頻到 3D 幾何圖形的工作流可以在 OVX 系統(tǒng)上運行。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　03

　　Jetson Orin Nano

　　Drive Orin 是 NVIDIA 推出的第二代自動駕駛汽車計算芯片，專為機器人開發(fā)設(shè)計。目前看來非常成功，已經(jīng)被 40 多家汽車、卡車和無人駕駛出租車使用。Jetson 是 NVIDIA 的機器人計算機，擁有 100 萬開發(fā)者，使用的公司約為 6000 家。

　　本次 GTC 大會上，黃仁勛宣布推出一款微型機器人系統(tǒng)級模塊芯片 Jetson Orin Nano，它的速度較之前的 Jetson Nano 快了 80 倍。Jetson Orin Nano 可以運行 NVIDIA Isaac 機器人堆棧，并具有 ROS 2 GPU 加速框架。

　　Orin 還是 Metropolis 運行所在的工業(yè)級 IGX Edge AI 平臺的機器人處理器。NVIDIA 邊緣 AI 平臺 Metropolis 的下載量已達 100 萬次，在全球擁有1000 多家應(yīng)用合作伙伴。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　全球大型工業(yè)自動化公司 Siemens 西門子將 Metropolis 和 Orin IGX 用于其工業(yè)邊緣計算平臺。

　　除了機器人開發(fā)外，Orin IGX 也是醫(yī)療影像應(yīng)用的理想計算平臺。在 Orin IGX 上運行的 NVIDIA Clara Holoscan 是一個低延遲的成像處理平臺，包含用于數(shù)據(jù)處理、AI 模型訓(xùn)練、仿真和機器人開發(fā)應(yīng)用的庫。70 多家領(lǐng)先的醫(yī)療設(shè)備公司、創(chuàng)企及醫(yī)療中心都在 Clara Holoscan 上進行開發(fā)。

　　04

　　Isaac 進入云端

　　本次 GTC 上，NVIDIA 宣布 Isaac 將進入云端。在 NGC 上，可以獲取云就緒 Omniverse VMI 虛擬機鏡像和 Isaac 容器，并將其部署到任何公有云上。

　　©2022 NVIDIA

　　圖片截取自GTC Sept 2022 Keynote視頻

　　Isaac 平臺是 NVIDIA 為 AMR(自主移動機器人)打造的，包含一些實用工具：倉庫和工廠中常見物品的 Sim Ready 素材庫;用于合成數(shù)據(jù)生成的 Replicator;具有與 ROS 和其他熱門機器人生態(tài)系統(tǒng)的連接器的 Isaac Sim;采用 AI 和計算機視覺算法的 Isaac ROS 引擎以及可連接 ROS 橋接器的運行時;實時車隊任務(wù)分配和路線規(guī)劃引擎的cuOpt。