גנרציה (RAG) מוגברת באיסוף מידע כמעט בזמן אמת

צנרת גנרציה (RAG) מוגברת באיסוף מידע כמעט בזמן אמת בהיקף רחב ב-JavaRAG הוא הדפוס שמשמש לשיפור דיוק LLM ולהקטנת הזיות בינה מלאכותית. אך רוב היישומים הם ר patchwork של עבודות אמבדינג בקבוצות, בסיסי נתונים חיצוניים עבור וקטורים, מתווכי הודעות, שירותים מעורבים וקוד דבק שביר. התוצאה היא צפויה: עלייה בלחץ הזמן, פעולות קשות ויקרות יותר. במהלך ההרצאה הזו, תראו ארכיטקטורת RAG זורמת שנבנתה באופן ילידי ב-Java: קליטת והמרה מתמשכת עם צנרות DAG מבוזרות, אינפרנס אמבדינג ניזול באמצעות סקלות אופקיות, ואוספי וקטורים מבוזרים בזיכרון לחיפוש סמנטי במילישניות. נציג כיצד ניתן לוקטור את הנתונים כשהם מגיעים מ- CDC, אירועים, מקורות REST, ודוקומנטים, כיצד עלייה מודעת לפילוח מפחיתה את העומס על הרשת, וכיצד מיקום חישוב עם אחסון וקטורים מאפשר חיפוש מהיר עם סינון והעשרה בזמן ריצה יחיד. המטרה היא פלטפורמה מאוחדת, במצב שמור, שמפחיתה את התפשטות הארכיטקטורה תוך שיפור בלחץ הזמן ובחוסן. נקודות הדיון המרכזיות: סקוט מקמהון הוא המנהל הבכיר של ארכיטקטורת פתרונות ב-Hazelcast®, עם למעלה מ-25 שנות ניסיון בפיתוח תוכנה וייעוץ ארגוני. לפני שהצטרף ל-Hazelcast, הוא בנה פלטפורמות אנליטיקה של נתונים גדולים ומערכות ניהול תהליכי עסקים עבור רבים מהתאגידים המובילים בעולם. הוא מתגורר כיום בפורטלנד, אורגון, וכשאינו עובד על מערכות מחשבים, הוא נהנה להיות בחוץ וליהנות עם משפחתו.