一、Chat with RTX：部署在本地的聊天机器人应用
往年大学生选购笔记本主要看游戏性能和性价比，但时代不同了，如今不会玩AI就注定无法跟上时代的节奏。对于生成式AI来说，目前主要依赖GPU进行加速，RTX 40系GPU最高可以提供686 TOPS的AI算力，轻松应对各种复杂任务，提升学习效率和工作成果！
正值开学季，NVIDIA联合诸多游戏本厂商在京东平台开展了盛大的促销活动，现在购买RTX笔记本，可享限时优惠！
一键抵达会场：
app端： https://pro.m.jd.com/mall/active/zHqTTKaGW39jsUQ5GJz4aTmgG3A/index.html
PC端： https://pro.jd.com/mall/active/zHqTTKaGW39jsUQ5GJz4aTmgG3A/index.html
说到AI，很多人可能第一时间就会想到ChatGPT，只是ChatGPT的服务器在云端，或多或少存在着一些安全隐患。另外普通用户能用的只有ChatGPT 3.5，更高级的4.0版需要每个月支付20美元（约合人民币145元）才能使用，对于大多数用户而言，算是一笔不菲的开销。
有鉴于此，NVIDIA推出了“Chat with RTX”，这是一款部署于本地的聊天机器人应用，只要你拥有一块搭载8GB以上显存的RTX 30/40显卡，就可以实现本地、快速、信息定制的生成式AI。
Chat with RTX 可以在Windows RTX PC 和工作站上以本地部署的方式运行，再加上用户的数据还是保留在本地设备装置上，因此能够快速提供查询结果。与依赖云端环境的 LLM 服务不同，Chat with RTX 让用户能够在 PC 桌面端处理敏感资料，无需分享给第三方或是连接到网络。
Chat with RTX工具支持包括.txt、.pdf、.doc/.docx和.xml在内的多种文件格式。将应用程序指向含有这些资料的文件夹，Chat with RTX 工具在几秒钟内就能将它们载入到资料库中。
另外，用户还能加入YouTube视频和播放列表里的信息。在Chat with RTX里加入视频网址，用户便能将这些知识与聊天机器人进行整合，进行上下文查询。
Chat with RTX可以在Windows RTX PC和工作站上以本地部署的方式运行，再加上用户的数据还是保留在本地设备装置上，因此能够快速提供查询结果。与依赖云端环境的LLM服务不同的是，Chat with RTX让用户能够在PC桌面端处理敏感资料，无需分享给第三方或是连接到网络
除了Chat With RTX之外，不久前NVIDIA还对谷歌全新开放式语言模型 Gemma 进行了优化，Chat with RTX 技术演示版也即将支持 Gemma。
该Demo使用检索增强生成(RAG)和TensorRT-LLM软件，为用户提供在本地WindowsRTX PC 上的生成式AI功能。
现在Chat with RTX已经开放了免费下载，只不过安装的时候需要注意只能安装在默认文件夹，手动变更安装路径会造成安装失败。
Chat with RTX下载地址：https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
文章来自互联网，不代表电脑知识网立场。发布者：达瓦里氏，转载请注明出处：https://www.pcxun.com/n/70419.html
