GTC 2024期间,NVIDIA不仅带来了全新的顶级AI GPU加速器、超级计算系统、车载计算平台,还进一步拓展了AI PC的能力,包括数字人技术商业和游戏应用、Chat with RTX全面更新、NIM微服务正式发布,等等。
对于AI PC,各家都有自己的定义,但是就算力和生态而言,RTX GPU无疑是最重要的一环,专用的Tensor Core AI加速器可以显著提升AI性能。
GeForce RTX 40系列的算力最高就可达1300 AI TOPS,而没有独立 GPU 的 AI PC 的算力仅为 10 至 45 AI TOPS,因此GeForce RTX 40系列能让PC用户在本地也可以执行以往云端才能实现的要求极为苛刻的应用。
目前,NVIDIA正在借助RTX AI的能力,打造世界级的数字人技术,为商业应用和动态游戏角色创建栩栩如生的化身。
NVIDIA最新打造的NVIDIA ACE(Avatar Cloud Engine)微服务,可以利用基于NVIDIA Audio2Face的面部动画、基于NVIDIA Riva自动语音识别(ASR)/文本转语音(TTS)的语音交流,让虚拟数字人物真正鲜活起来。
NVIDIA ACE微服务非常灵活,允许模型根据本地GPU的性能,决定在云端还是PC上运行。
目前,米哈游、网易游戏、完美世界游戏、掌趣科技、腾讯游戏等中国企业都已经引入NVIDIA ACE技术。
在海外市场上,NVIDIA ACE技术也有众多的合作伙伴,包括Convai、Cyber Agent、Data Monsters、Deloitte、HippocraticAI、IGOODI、Inworld AI、Media.Monks、Openstream、Quantiphi、Rakuten Securities、Slalom、SoftServe、Top Health Tech、Ubisoft、UneeQ、Unions Avatars等等。
这些合作伙伴遍布医疗、游戏、金融服务、媒体、娱乐、零售等各行各业,为数字人技术的应用探索了各种全新可能。
比如,Inworld AI联合NVIDIA打造了全新的技术Demo Covert Protocol。
它采用多模态方法展示游戏NPC,将认知、感知、行为系统集成在一起,渲染出来的角色令人惊叹,可实现身临其境的叙事效果。
育碧就正在利用NVIDIA ACE技术、Inworld角色引擎,并结合LLM大语言模型,育碧巴黎工作室的多学科团队已经基于此开发了NEO NPCs。
它可以为游戏里的每个NPC建立完整的背景、知识库和对话风格,以及实时的面部动画,并与玩家、环境或其他角色实时互动,为动态和突发故事探索全新的可能性。
Inworld技术还为NEO NPCs提供了有关周围环境的内在知识,并通过Inworld大语言模型提供交互式响应。
在育碧提供的三个独立技术Demo之中,就有两个独特的NEO NPCs,分别叫做Bloom、Iron,展现出了不同的行为、环境和上下文意识,以及一系列的实时反应和动画、连续对话、协作和战略决策。
简单地说,NVIDIA的数字人技术,可以让游戏里的NPC更像一个真正的人,能够做出接近人类的实时反映,而不再是“千人一面”。
再比如,Hippocratic AI打造了以安全为重点、由LLM驱动、针对特定任务的医疗代理
UneeQ则是一个专门为客户服务和互动应用创建AI驱动化身的自主数字人平台。
对于AI应用最广泛的人机对话场景,NVIDIA打造了独特的Chat with RTX (或简称ChatRTX) 演示Demo。
Chat with RTX使用检索增强生成、NVIDIA TensorRT-LLM软件、NVIDIA RTX加速,将本地生成式AI功能,引入到了支持RTX硬件和技术的Windows系统中。
利用它,用户可快速、轻松地将本地文件作为数据集,连接到Mistral、Llama 2等开放式大语言模型,快速查询与上下文相关的答案。
值得一提的是,除了文本外,Chat with RTX还将很快增加对语音、图像、新模型的支持。
此外,为了帮助开发者更轻松、更全面、更深入地从事AI开发,NVIDIA正在提供越来越多的RTX AI工具。
比如NIM微服务,一种预构建的AI容器,采用行业标准API,包括必要的软件组件,可优化整体体验,将部署时间从几个星期缩短到只需几分钟。
比如NVIDIA AI Workbench,一套易用的整合式工具包,现已全面上市,可帮助开发者利用PC级性能和显存占用空间,快速创建、测试和定制预训练生成式AI模型和LLM。
比如TensorRT加速,一款可帮助开发者充分利用RTX GPU Tensor Core的加速库软件,现在可以通过TensorRT-LLM for Windows,用于基于文本的应用。
当然,不能忘了RTX GPU加速的游戏渲染应用,尤其是光线追踪、DLSS超分辨率、FG帧生成等。
最近,又有两款重磅游戏支持了DLSS 3.5光线重建技术、全景光追技术。
一个是将于8月20日发布的《黑神话:悟空》,另一个是《永劫无间》将在PVP、PVE模式下的三个新地图支持全景光追,后续会还会有更多地图加入。
2019年以来,已有超过500款游戏和应用支持光线追踪、DLSS、AI技术,彻底改变了人们的游戏和创作方式、体验。
凭借深厚的技术积累、强大的硬件算力、丰富的开发生态,NVIDIA正在为AI尤其是AI PC的应用拓展全新疆界,从游戏娱乐到行业应用,都展现出无限可能。
尤其是创新的NVIDIA ACE微服务,无论是游戏还是行业应用,开发者都可以借助强大的RTX AI的能力,创造出表情、语言、行动等等都更接近真人的虚拟形象,有望彻底颠覆数字人创作。
文章来自互联网,不代表电脑知识网立场。发布者:sherry,转载请注明出处:https://www.pcxun.com/n/86945.html