מושב 03: הכנת נתונים עבור AI
Description
הכנת נתונים עבור AI: הנדסת נתוני יישומים גולמיים להקשרים נקיים ומוכנים למודליםמודלים ואמצעי חיפוש AI ברמה גבוהה הם טובים רק כמו צינורות הנתונים שמזינים אותם. אם אתה זורק יומני מסד נתונים גולמיים ולא מובנים, מיכלי מסמכים מבולגנים, או JSON לא מפורש ישירות לתוך מודל הטמעה או חלון הקשר של LLM, המערכת שלך תסבול מהזיות, עלויות API גבוהות ועומס הקשר.במושב זה, אנו משלמים את המודול 1 (תשתיות נתונים וצינורות) על ידי הפיכתנו למומחים בהכנת נתונים עבור AI. אנו עוסקים במעבר מאירועים גולמיים במסד הנתונים להמרת, חיתוך וחיטוי נתונים לא מובנים ושטחיים להקשרים נקיים ומוכנים למודל.מה נעסוק בוחיתוך דטרמיניסטי מול חיתוך סמנטי: מעבר לחלוקות באורך קבוע - חקר חיתוך מודע לכותרת, מבוסס Markdown, וחיתוך גבול סמנטי כדי לשמור על הקשר לוגי.הפקת תכונה ומטא-נתונים: העשרת קטעי טקסט עם מטא-נתונים מובנים (חותמות זמן, מספרי זיהוי שוכרים, קטגוריות והרשאות) כדי לאפשר סינון מדויק במהלך שיחזור ההקשר.עריכה ומסיכה של PII בגישת אפס אמון: יישום מסנני פרטיות אוטומטיים בעזרת regex ומודלים כדי להסיר נתונים אישיים רגישים (מספרי תעודת זהות לאומית, מספרי טלפון, האישורים הפיננסיים) לפני שהנתונים מגיעים לציוני וקטורים או ל-API של LLM חיצוניים.איכות נתונים ודופליקציה: אסטרטגיות לגילוי תוכן כמעט כפול, נורמליזציה של קידודים טקסטואליים, וטיפול בשינוי מערכות נתונים לא מובנים.מעבדת הקוד מעשיתבפעלת ההנדסה האינטראקטיבית של מושב זה, נבנה מנוע חיטוי וחתימה אוטומטי ב-TypeScript. יחד, נ:1. נבנה מנוע חיתוך באסטרטגיות מרובות: ניישם ונשווה שגרות חיתוך באורך קבוע, חלון גולש וחיתוך מודע לכותרת סמנטית.2. נבצע אוטומציה של חיטוי PII: נבנה צינור חיטוי בגישת אפס אמון שמזהה ומסיר נתונים אישיים (PII) לפני אחסון.3. נעשיר קטעים במטא-נתונים: נAttach מנופי מטא-נתונים מוּבנים, בגרסאות (zod) לכל קטע לסינון בתהליך הבא.4. נוודא את מוכנות הפלט: נבצע בדיקות איכות על קטעים מעובדים כדי לוודא שהם עומדים בסטנדרטים של הטמעה ושיחזור.עד השעה 16:00, תבנה צינור הכנת נתונים אוטומטי שממיר פלטים גולמיים מהיישום להקשר AI מותאם לתעשייה ולפרטיות!מי צריך להשתתף?מפתחי תוכנה, מהנדסי Backend, ארכיטקטים טכניים, ומקצועני נתונים שמעוניינים לבנות צינורות נתונים נקיים, בטוחים ומוכנים להפקה עבור מערכות חכמות.
Event location
Let your network know you're going
Share this event to start conversations, invite colleagues, and connect before it begins.