![](https://doc-fd.zol-img.com.cn/t_s640x2000/g7/M00/0A/08/ChMkLGXLuIuIfoXTAALz3IGEt5MAAarJQDWQ54AAvP0469.png)
英伟达近日发布了适用于Windows PC的“Chat with RTX”聊天机器人应用程序。该应用程序得到了TensorRT-LLM的支持,是一款功能强大的本地化系统。用户无需上网即可使用该应用程序,只需将具有至少8GB显存的GeForce RTX 30和40 GPU与该应用程序配合使用即可。
“Chat with RTX”支持多种文件格式,如文本、pdf、doc/docx和xml等。用户只需将包含所需文件的文件夹指向给定目录,“Chat with RTX”会在几秒钟内将其加载到数据库中。此外,“Chat with RTX”还能够加载YouTube播放列表的URL,并提供视频转录服务以便快速查询视频内容。
根据官方描述,“Chat with RTX”的工作原理与使用ChatGPT相似,但生成的结果完全基于特定数据集而非云存储中的数据。这意味着用户可以更快地访问并获得更准确的结果,在生成摘要、快速搜索文档等方面非常有用。
英伟达表示,随着TensorRT-LLM v0.6.0版本的发布,“Chat with RTX”的性能将提高5倍,并计划在本月晚些时候推出更新版。此外,该应用程序还将支持其他类似LLM的功能,如 Mistral 7B和Nemotron 3 8B等。
本文属于原创文章,如若转载,请注明来源:英伟达发布Chat With RTX应用:支持ChatGPT功能,性能提高5倍https://news.zol.com.cn/855/8558730.html