צ'אט עם RTX פועל באופן מקומי, ולא מחובר לאינטרנט ומאפשר למשתמשים ליצור ChatGPT משלהם.
מאז ינואר 2023, צ'אטבוטים מבוססי בינה מלאכותית הפכו לדבר החם של עולם הטכנולוגיה ומשהו שלא מעט אנשים חוששים שהוא מאיים על עתיד האנושות כולה. פיתוחי AI Generative כמו ChatGPT או OpenAI, Microsoft CoPilot, וכמובן גוגל ג'מיני (הידוע כיום בשם Gemini) השתלטו על האינטרנט.
חברת אנבידיה ׁ(Nvidia), שתחום ה-AI זקוק לה בגלל השבבים המתקדמים שהיא מייצרת חשפה צ'טבוט עצמאי חדש. אפליקציית Chat with RTX החדשה שלה המאפשרת למשתמשים לייצור צ'אט בוט מבוסס בינה מלאכותית משלהם בדומה ל-ChatGPT.
צ'אט עם RTX הוכרז לראשונה בינואר. האפליקציה משתמשת ב-Retrieval Augmented Generation (RAG), בשילוב עם TensorRT-LLM, שמשתמשים יכולים להתאים אישית על ידי הענקת גישה לקבצים ולתיקיות שצוינו.
הצ'ט פועל באופן מקומי ויכול לשלוף מידע מקבצי טקסט, PDF, מסמכים ו-XML, כך שתוכלו לקבל במהירות את הנתונים שביקשתם. יש גם פונקציית תמלול של YouTube.
צ'אט עם RTX לא נועד להיות ChatGP
מכיוון שהאפליקציה פועלת במצב לא מקוון, אין סכנה בחשיפת הנתונים הרגישים שלכם באינטרנט. לצ'אט עם RTX בגרסתו הבסיסית יש גישה רק לתיקיית RAG, כך שהיא יכולה לענות על כמה שאלות בסיסיות בנוגע למוצרים ותכונות של Nvidia RTX.
למי שרוצה יותר, קיימת אפשרות לשנות הגדרה זאת בחשבון ולהפנות את האפליקציה לתיקיית מערך כל הנתונים שלכם.
עבור עיבוד נתונים מקומי, צ'אט עם RTX לא נועד להיות תחליף ChatGPT. להבדיל מהצ'טבוטים הפופולאריים, לצ'אט עם RTX אין כרגע את היכולת לזכור הקשר, כך שלא תוכלו לשאול שאלות המשך על סמך השאילתה המקורית שלכם.
איך מתקינים צ'ט עם RTX?
לפני שאתם ממהרים להתקין, כדאי לשים לב כי ההורדה הראשונית מגיעה ליותר מ-30GB, וגודל ההתקנה הסופי יכול להגיע עד 100GB, תלוי בדגמי הבינה המלאכותית שהתקנתם. לצ'אט עם RTX בתור התחלה, תהיה גישה לשני דגמי AI, Mistral ו-Llama. הראשון הוא מודל שנוצר על ידי עובדי Meta ו-Google לשעבר, בעוד שהשני הוא מודל שנוצר על ידי Meta.
ניתן להוריד צ'אט עם RTX ישירות מאתר Nvidia. תזדקקו לכרטיס מסך מסדרת RTX 3000 או RTX 4000 או Ada Generation עם זיכרון פנימי של 8GB Vram, ווינדוס 11, וזיכרון מחשב של 16GB לפחות כדי להפעיל את היישום.
תצטרכו להיות סבלניים, משום שזמן התקנת LLM (מודל שפה גדול) לוקח זמן ארוך למדי, לי זה לקח שעה. לאחר כל השלבים הללו, האפליקציה טוענת את כל המידע, אותו היא בעצם סורקת וכששלב זה יסתיים, הצ'ט עם RTX יעבוד לכם באופן מהיר ומרשים.
תהנו!
