NVIDIA Chat RTX 0.3版本：映眾RTX40顯卡解鎖AI新體驗(yàn)
NVIDIA近日發(fā)布了Chat RTX 0.3版本，為人工智能對(duì)話系統(tǒng)帶來了諸多令人興奮的新功能。作為基于RTX GPU的本地大語言模型（LLM），NVIDIA Chat RTX憑借其卓越的性能和安全的本地處理，已經(jīng)成為企業(yè)和開發(fā)者的理想選擇。此次0.3版本更新，進(jìn)一步提升了其功能和用戶體驗(yàn)，增加了照片搜索、AI驅(qū)動(dòng)的語音識(shí)別等新特性。本文將詳細(xì)介紹NVIDIA Chat RTX的安裝與使用方法、新增功能及其優(yōu)點(diǎn)，并推薦幾款其他本地LLM解決方案。
NVIDIA Chat RTX 0.3配置要求
如何安裝和使用NVIDIA Chat RTX 0.3
下載地址：https://www.nvidia.com/en-us/ai-on-rtx/chatrtx/
經(jīng)過漫長的下載和解壓縮之后, 您會(huì)看到如下圖的內(nèi)容:
點(diǎn)擊setup.exe, 執(zhí)行安裝。加下來你就會(huì)看到:
但這并不是可以隨意添加模型的意思，而是可選擇下載NVIDIA編譯過的模型。
Chat RTX 0.3版本新功能亮點(diǎn)：
照片搜索：
Chat RTX 0.3版本引入了強(qiáng)大的照片搜索功能。用戶可以上傳照片，利用AI進(jìn)行圖像識(shí)別和搜索。這一功能在社交媒體管理、電子商務(wù)、數(shù)字資產(chǎn)管理等領(lǐng)域具有廣泛應(yīng)用，幫助用戶更快速準(zhǔn)確地找到所需內(nèi)容。
Whisper語音識(shí)別系統(tǒng)：
新版本新增了AI驅(qū)動(dòng)的語音識(shí)別功能，能夠高效地將語音轉(zhuǎn)換為文本。這對(duì)需要語音輸入的應(yīng)用程序，如智能助手、客服系統(tǒng)和會(huì)議記錄等，提供了極大的便利，提升了用戶的互動(dòng)體驗(yàn)。
ChatRTX快速生成相關(guān)回復(fù)
在強(qiáng)大的大型語言模型（LLM）支持下，ChatRTX 0.3版本還新增了查詢筆記和文檔的功能。用戶可以通過ChatRTX快速生成相關(guān)回復(fù)，并在用戶設(shè)備上本地運(yùn)行。這一功能的加入，將使得用戶能夠更加方便地管理和利用自己的筆記和文檔資源，提高工作和學(xué)習(xí)效率。
由于我們下載的這個(gè)Gemma 7B int4模型非常龐大，因此我們使用的顯卡是映眾RTX 4090 D超級(jí)冰龍版，在使用過程中顯存容量已經(jīng)到了14.5GB。所以，顯存容量低于8GB的RTX 30/40系列顯卡無法勝任這類大模型的運(yùn)行任務(wù)。建議使用顯存容量在16GB及以上的顯卡來處理此類大模型，以確保流暢運(yùn)行。
其他本地LLM解決方案：
Olama
Olama是另一個(gè)用干運(yùn)行 LLM 的工具和框架，例如yistral、Llama2、或code llama本地運(yùn)行(請(qǐng)參閱庫)。它目前僅在 macOs 和Linux 上運(yùn)行，因此我將使用WSL。值得注意的是，LangChain 和 Ollama 之間存在很強(qiáng)的集成度。
安裝 Olama后，我們可以使用o1lama serve.o11ama run $M0DEL現(xiàn)在，我們可以使用簡(jiǎn)單地運(yùn)行應(yīng)用程序和模型o1lamarun、 llama2。運(yùn)行命令后，我們有一個(gè)提示窗口作為我們的用戶界面。
GPT4AII
Nomic的GPT4AI既是一系列模型，也是一個(gè)用于訓(xùn)練和部署模型的生態(tài)系統(tǒng)。如下所示，GPT4AI 桌面應(yīng)用程序很大程度上受到OpenAl的 ChatGPT 的啟發(fā)。
安裝后，您可以從多種型號(hào)中進(jìn)行選擇。對(duì)于本示例，選擇了Mistral 0pen0rca.但是，GPT4AI支持多種模型。
LM工作室
LM Studio作為一個(gè)應(yīng)用程序，在某些方面與 GPT4AI 類似，但更全面。LM Studio 旨在本地運(yùn)行 LLM 并試驗(yàn)不同的模型，通常從HuggingFace 存儲(chǔ)庫下載。它還具有聊天界面和兼容 OpenA! 的本地服務(wù)器。在幕后，LM Studio 也嚴(yán)重依賴 llama.cpp。
讓我們嘗試運(yùn)行我們已建立的示例，首先，我們需要使用模型瀏覽器下載模型。這是一個(gè)很棒的工具，因?yàn)樗苯舆B接到HuggingFace 并負(fù)責(zé)文件管理。也就是說，模型瀏覽器還將顯示不一定可以開箱即用的模型以及模型的許多變體。
使用上面演示的工具，我們能夠在本地輕松使用此類開放模型。這不僅使我們能夠在沒有隱私風(fēng)險(xiǎn)的情況下利用生成式人工智能，而且還可以更輕松地嘗試開放模型。其中NVIDIA Chat RTX 0.3版本通過引入照片搜索和AI驅(qū)動(dòng)的語音識(shí)別功能，再次提升了其在本地LLM解決方案中的地位。無論是在高效處理能力、多功能集成還是數(shù)據(jù)隱私保護(hù)方面，NVIDIA Chat RTX都表現(xiàn)出色。
除此之外，Olama、GPT4AII和LM Studio等解決方案也提供了多樣化的選擇，滿足不同用戶的需求。根據(jù)自身的硬件條件和具體需求，選擇適合的本地LLM解決方案，開啟智能對(duì)話新時(shí)代。
關(guān)注我們
