Predictive mean matching and imputation – השלמת ערכים חסרים איטרטיבית

ערכים חסרים הם נחלתו של כל מי שעוסק בעיבוד מידע טבלאי, הפעם נתמקד בהשלמת ערכים רציפים עם Predictive mean matching. אחת השיטות הנפוצות MICE, לא היתה זמינה עד לאחרונה למשתמש פייתון – וכעת נמצאת במודול הexperimental של scikit learn. נעשה סקירה קצרה על מתי כדאי להשלים ערכים חסרים ומתי לא, ונדבר על השיטות הנפוצות להשלמה.

כאן – Kolmogorov Arnold network

הרבה מאיתנו שמעו בכותרות על KAN פה, KAN שם – ולא היה ברור מה המהומה. Kolmogorov Arnold network זו ארכיטקטורה שמאיימת לשנות את איך שאנחנו חושבים על רשתות נוירונים, החל במבנה של נוירון ועד יכולת ההסבר. בנוסף, לרשתות כאן יש פי עשר פחות פרמטרים והן דלילות יותר – נשמע מדהים. אבל, הפוטנציאל הוא גדול אבל […]

רק לא ראג RAG

מי לא שמע על RAG, נראה שכולם מדברים, מממשים ומאפטמים ראגים לכל שימוש. בפרק זה אורי שוטח את משנתו על ראגים, וטוען שהם בשימוש יתר בתעשייה (יש יגידו הייפ), ואלו הן הסיבות 1. אתם אחראיים (משפטית) על הפלט שלהם – אם אין בן אדם בלופ – יש בעיה 2. שאילתות סמנטיות לא מתאימות להמון מקרים, […]

חיפוש וקטורי עם מירב גרימברג

מירב גרימברג עוסקת למחייתה בפיתוח מנוע החיפוש הוקטורי של רדיס, הגיעה לספר לנו תובנות מבפנים. לאחרונה רואים שיותר ויותר דאטאבייסים ״מסורתיים״ מוסיפים פונקציונאליות של חיפוש וקטורי, רדיס הוא אחד מהם. רדיס, הוא היום שירות ברירת המחדל לחיפוש key-value מהיר בזמן אמת. וגם מנוע חיפוש וקטורי המממש את אלגוריתם הhnsw לחיפוש וקטורי מקורב. מירב תספר לנו […]

טרנספורמרים וסדרות עיתיות – ש.ח

עכשיו כשהעולם רועש סביב מודלי שפה גדולים וחזקים שאינם טרנספורמרים (מאמבה, rwkv) – הגיע הזמן להיזכר מה הוא הטרנספורמר ומה היו המוטיבציות ליצירתו. פרק זה הינו שידור חוזר של פרק מ2020, האזנה מרתקת לאזניים של 2024.

כישורים רכים למדעני נתונים – עם בוריס גורליק

בוריס גורליק, יועץ דאטא מנוסה עם רקע ניכר בדאטא טבלאי, ויזואליזציה וסדרות זמן – ידבר איתנו על דווקא על נושא אחר: Soft skills. מדעני נתונים, הם לא רק אנשים טכניים שיודעים להריץ פייתון ולאפטם מודלים – הכוונה ב״כישורים רכים״ זה לכל יכולת התקשורת בארגון ובצוות, ובעבודה במשותף כחלק מאתגר גדול יותר. נדבר על אתגרים נפוצים […]

על למידה מונחית עצמית עם מייק ארליכסון Self Supervised

בפרק זה אירחנו את מיכאל ארליכסון לדבר על self supervised learning. דיברנו על בעיית דלילות הסיגנל, ועלות התיוג. למידה self supervised מתמקדת בלמידת היצוג הוקטורי על ידי משימות שלא דורשות תיוג. לדוגמא, אם לקחנו תמונה ו הרעשנו אותה (או סיבוב, שיקוף, זום) נצפה שוקטור היצוג יהיה דומה. דיברנו על טכניקות שונות ללמידת יצוגים, כגון רשתות […]

על פרטיות דיפרנציאלית עם משה שנפלד

יש הרבה עיסוק בסכנות הכרוכות בהדלפה של פרטים מזהים בדאטאסטים או בתוך משקולות של מודלים מאומנים. בפרק זה משה שנפלד, חוקר בתחום, יספר לנו כמה זה מורכב להפוך דאטאסט אנונימי ונדבר על כמה פדיחות שקרו בתחום. נדבר על האתגרים של אימון מודלים בצורה פרטית, והאם מדובר בסוג חדש של רגולרזיציה. נכסה אלגוריתמים כמו k-annonimity ונדבר […]

איך ללמד מודל שפה לדבר כמו ערס עם חן מרגלית מ LSports

בפרק זה חן מרגלית סיפר על פיתוח SEC by LSports הבוט שמתמצת ועונה על שאלות על משחקי ספורט. הבעיה העיקרית היא שרוב מודלי השפה אומנו על ויקיפדיה, כתבות ואתרי שאלות ותשובות – ולא שפה השגורה במגרשי הכדורגל. חן יספר על התהליך של יצירת הדאטא, פיינטון וכמובן שרשרת המודלים ליצירת התחזיות שקדמה למענה של הצ׳טבוט.

AlgoGen – שילוב של אלגוריתמים ומודלי שפה גנרטיביים, עם אמיר שחר

בפרק זה אמיר שחר יספר על שיטה חדשנית שפרסם לשילוב מודלי שפה יחד עם אלגוריתמים. לפני 20 שנים, כנראה שאם הייתם אומרים AI הייתם מתכוונים לאלגוריתמי חיפוש בעצים. אלגוריתמי חיפוש כמו A Star מנצחים מסטרים בשח מט, ואפילו עוזרים לנו להתמצא בעיר עם Waze. למעשה, אם מסתכלים עמוק בתוך LLM מגלים גם בו שימושים באלגוריתמי […]