We recorded 170 podcast episodes!

<p>השבוע באקספליינבל אנחנו עוברים למתכונת רימוט ומארחים את ד״ר שמואל חיון, חוקר AI בכיר בהירונדו, שיספר לנו על העקבות שתיוג לא נכון משאיר לנו בזמן אימון המודל. הבנו איך טעות סיווג בהקלטה עם קשר טמפורלי קשורה לקלסיפיקציה של חתולים, ומתי סטטיסטיקות על פיצ׳רים כבר לא יכולות לעזור לנו במציאת טעויות סיווג (רמז: תמונות). העמקנו בהשפעה של דוגמא עם סיווג לא-נכון על loss של דוגמא אחרת, ואיך מודאליות שונה תשתמש אחרת באותה ליבה אלגוריתמית למציאת הרעשים.</p><p><br></p><p>המאמרים שהוזכרו בפרק:</p><p>שערוך יעיל של data influence למציאת שגיאות תיוג</p><p><br></p><p>סקירת מגוון שיטות לחישוב מקורב של data influence</p><p><br></p><p>00:00 היי שמואל, חוקר AI בכיר בהירונדו</p><p>02:40 חשיבות איכות הדאטה וכלב שמסווג כחתון</p><p>07:35 מבדיקה ידנית ועד קרבה סמנטית: איך להתמודד עם רעשי סיווג</p><p>13:33 מודאליות ותיוגים: איפה אנחנו הכי פגיעים</p><p>18:45 שגיאות תיוג נפוצות</p><p>22:44 איך לומדים ביחד ולחוד עבור מודאליות שונה</p><p>32:29 תוצאות בשטח</p><p>35:48 איך ללמוד עוד</p><p><br></p>

<p>בפרק 150 של אקספליינבל, ולכבוד הסקירה של המאמר ה-555 של מייק, הסוד נחשף: מי הם הכותבים הסודיים מאחורי המאמרים (ואיך זה עוזר לקריירה שלהם). נבין מה הקשר בין הנוסחה של log likelihood לפסילת מאמרים, ואיך לדעת איזה מאמר לקרוא כשאין לנו מנחה או משימה מוגדרת בעבודה. נבדוק מהם הטיפים המובילים שעזרו למייק להפסיק לקרוא 85% מתוך 3000 המאמרים ששקל לסקור, ואיך שיתופי פעולה עם דאטה סיינטיסטים מתחילים הפכו להיות הסקירות האהובות עליו.</p><p>פרק 150 שיצליח להעביר לכם חצי שעה שלמה (או 20 דקות על מהירות x1.5) - זמין עכשיו בכל הפלטפורמות!</p><p>קסניה בטוויטר: <a href="https://x.com/TheTuringPost"><u>https://x.com/TheTuringPost</u></a></p><p>קמרון וולף: <a href="https://substack.com/@cwolferesearch"><u>https://substack.com/@cwolferesearch</u></a></p><p>נתן למברט: <a href="https://substack.com/@natolambert"><u>https://substack.com/@natolambert</u></a> </p><p>סבסטיאן רסצ׳קה: https://substack.com/@rasbt</p><p>00:00 מחוסרים מתמטיים בתואר שני בטכניון ועד לקריאה של 3000 מאמרים</p><p>04:34 טקסונומיה של מידע: איך לבחור מה לסקור</p><p>10:43 להיכשל מהר: איך לסנן 85% מהאמרים ביעילות</p><p>18:19 שיתוף הפעולה הסודי עם סוקרים וסוקרות מהתעשייה, ואיך זה מקדם אותם</p><p>21:59 הסקירה הכי גרועה שמייק כתב</p><p>26:07 איך לשתף פעולה עם מייק לקראת הסקירות הבאות שלו ומה אפשר ללמוד מזה</p>

<p>למה אנחנו לא רואים אלגוריתמים גנטיים בChatGPT?</p><p>היום באקספליינבל, הילה ותמיר בחנו אלגוריתמים גנטיים כתשובה לפונקציית מטרה שאינה גזירה, מעולמות הסייבר ועד reinforcement learning. האם אלגוריתם פשוט שיכול לייצב מטוטלת ולפתור בעיית knapsack יוכל לעזור לנו באופטימיזציה של רשתות גדולות? בפרק נדבר על חשיבות יצירת Generation Zero בעולם בעיה מורכב, לעומת מקרים בהם כל ניחוש התחלתי הוא טוב, איך בעיה קומבינטורית יכולה להפוך למערך של מערכים, והאם יש סיכוי שנראה יותר אלגוריתמים גנטיים באופטימיזציה של מודלי שפה גדולים.</p><p><br></p><p>00:00 בעיית תיק הגב: איך לבנת זהב קשורה לפונקציה שאינה גזירה?</p><p>02:50 איך אלגוריתם גנטי עובד</p><p>07:22 אלגוריתמים גנטיים בעולם ה Reinforcement Learning</p><p>11:13 למה אי אפשר להשתמש באלגוריתמים גנטיים ברשתות גדולות יותר</p><p>13:57 איך ללמוד עוד על הנושא</p><p>בעיית Knapsack <a href="https://he.wikipedia.org/wiki/%D7%91%D7%A2%D7%99%D7%99%D7%AA_%D7%AA%D7%A8%D7%9E%D7%99%D7%9C_%D7%94%D7%92%D7%91" target="_blank" rel="ugc noopener noreferrer">https://he.wikipedia.org/wiki/%D7%91%D7%A2%D7%99%D7%99%D7%AA_%D7%AA%D7%A8%D7%9E%D7%99%D7%9C_%D7%94%D7%92%D7%91</a> </p><p>בעיית cartpole בעזרת אלגוריתמים גנטיים: <a href="https://gsurma.medium.com/cartpole-introduction-to-reinforcement-learning-ed0eb5b58288" target="_blank" rel="ugc noopener noreferrer">https://gsurma.medium.com/cartpole-introduction-to-reinforcement-learning-ed0eb5b58288</a> </p><p>הפטנט המשלב אלגוריתמים גנטיים של חברת זיסקיילר: <a href="https://patents.google.com/patent/US20250307332A1/en" target="_blank" rel="ugc noopener noreferrer">https://patents.google.com/patent/US20250307332A1/en</a> </p><p><br></p>

<p>אם למדתם את התואר השני שלכם לפני 2018, כנראה שהוא לא היה בדאטה סיינס. </p><p>אבל מאז, האקדמיות התחילו להציע לצד לימודי דיסיפלינות כמו מתמטיקה ומדמ״ח, גם תארים שניים מונחי מקצועות, ובניהם גם דאטה סיינס. והקולגות שלכם והאנשים שתנהלו שלמדו אחריכם? ייתכן מאוד שהם השתתפו בתארים כאלו.</p><p>השבוע באקספליינבל, אורי והילה פתחו בלי פילטרים את 24 הקורסים שהילה בחרה במסגרת לימודיה בהרווארד. בדקנו איך כלכלה קפיטליסטית משפיעה על האיכות (והכמות) של קורסי בחירה, מהי החשיבות האקדמית בפקולטה לשילוב פרויקטים עם גופים ממשלתיים כמו נאס״א, מי הפרופסור שהוריד נקודות על קומיטים עמוסים מדי ב-GitHub, ולמה המרצים שלה חשבו שבניית קורס בUdemy מייצר דאטה סיינטיסטים יותר טובים. </p><p>הפרק המלא עכשיו בכל הערוצים, ואנחנו לא יכולים להבטיח שלא יהיו בחני פתע בהמשך. </p><p>אם עוד לא ראיתם את פרק 142, השקרים שUMAP מספר לנו - הנה הוא: <a href="https://open.spotify.com/episode/7JhkmVAchJCuJmBflJI6Vq?si=iabQasycRsa4DCVzIwYihw"><u>https://open.spotify.com/episode/7JhkmVAchJCuJmBflJI6Vq?si=iabQasycRsa4DCVzIwYihw</u></a> </p><p>פרק 136 על הורדת מימדים בלווינים של נאס״א עם מייק והילה:</p><p><a href="https://open.spotify.com/episode/5airSjSy665VXZ2tImf1vE?si=3-jAQ7JSTSCNoCFXPgbs0A"><u>https://open.spotify.com/episode/5airSjSy665VXZ2tImf1vE?si=3-jAQ7JSTSCNoCFXPgbs0A</u></a> </p><p>הסילבוסים של כל הקורסים מהתואר בData Science: </p><ol><li><p>CSCI 29, Advanced Python for Data Science:  <a href="https://www.scribd.com/document/798907961/syllabus-15"><u>https://www.scribd.com/document/798907961/syllabus-15</u></a> </p></li><li><p>CSCI 106, Data Modeling: <a href="https://harvard.simplesyllabus.com/en-US/doc/klanr3gi3"><u>https://harvard.simplesyllabus.com/en-US/doc/klanr3gi3</u></a> </p></li><li><p>CSCI 109A, Introduction to Data Science: <a href="https://harvard-iacs.github.io/2020-CS109A/"><u>https://harvard-iacs.github.io/2020-CS109A/</u></a> </p></li><li><p>CSCI E-82, Advanced Machine Learning, Data Mining, and Artificial Intelligencehttps://<a href="http://harvard.simplesyllabus.com/en-US/doc/87qroqsdw"><u>harvard.simplesyllabus.com/en-US/doc/87qroqsdw</u></a> </p></li><li><p>CSCI E-88, Principles Of Big Data Processing: <a href="https://www.coursehero.com/file/30149735/BDP-Syllabus-Spring-2018pdf/"><u>https://www.coursehero.com/file/30149735/BDP-Syllabus-Spring-2018pdf/</u></a> </p></li><li><p>ISMT E-161, Computational Bayesian Inference: <a href="https://harvard.simplesyllabus.com/en-US/doc/mknirmekw"><u>https://harvard.simplesyllabus.com/en-US/doc/mknirmekw</u></a> </p></li><li><p>CSCI 89, Introduction to Deep Learning: <a href="https://harvard.simplesyllabus.com/en-US/doc/orl05sdoq"><u>https://harvard.simplesyllabus.com/en-US/doc/orl05sdoq</u></a> </p></li><li><p>CSCI E-89b, Introduction to Natural Language Processing: <a href="https://harvard.simplesyllabus.com/en-US/doc/dy3xgo9om"><u>https://harvard.simplesyllabus.com/en-US/doc/dy3xgo9om</u></a> </p></li><li><p>ISMT E-136, Time Series Analysis with Python: <a href="https://harvard.simplesyllabus.com/en-US/doc/tn6vfy88u"><u>https://harvard.simplesyllabus.com/en-US/doc/tn6vfy88u</u></a> </p></li><li><p>MATH 156, Mathematical Statistics: <a href="https://harvard.simplesyllabus.com/en-US/doc/8zojz55h6"><u>https://harvard.simplesyllabus.com/en-US/doc/8zojz55h6</u></a> </p></li><li><p>CSCI 597, Data Science Precapstone + CSCI E-599a Data Science Capstone: <a href="https://harvard.simplesyllabus.com/en-US/doc/xkxh8b79b"><u>https://harvard.simplesyllabus.com/en-US/doc/xkxh8b79b</u></a> </p></li></ol><p>ספר של הילה עם פרופסור הנסטוק: <a href="https://www.amazon.com/Supercharged-Coding-GenAI-practices-Copilot/dp/1836645295"><u>https://www.amazon.com/Supercharged-Coding-GenAI-practices-Copilot/dp/1836645295</u></a></p><p>קורס של הילה ביודמי עם פרופסור גורלין: </p><p><a href="https://www.udemy.com/course/apds-intro-to-advanced-python-for-mlops-and-data-science/?srsltid=AfmBOorNj_xL3x8JCmTXR3KDIgp01faF9uZryC8wFbpLw_fpcou1jyse"><u>https://www.udemy.com/course/apds-intro-to-advanced-python-for-mlops-and-data-science/?srsltid=AfmBOorNj_xL3x8JCmTXR3KDIgp01faF9uZryC8wFbpLw_fpcou1jyse</u></a> </p><p><br>הספר Mathematical Statistics <a href="https://www.amazon.com/Mathematical-Statistics-Data-Analysis-Rice/dp/8131519546/ref=tmm_pap_swatch_0"><u>https://www.amazon.com/Mathematical-Statistics-Data-Analysis-Rice/dp/8131519546/ref=tmm_pap_swatch_0</u></a> </p><p><br></p><p>00:00 תואר שני שני בהרווארד</p><p>01:01 מכלכלה קפיטליסטית של קורסי בחירה לארכיטקטורה של טרנספורמר במבחן אמצע</p><p>04:13 ארבע וחצי שנים לתואר שני אחד</p><p>6:48 חשיבות הארטיקולציה והפרזנטציה</p><p>09:47 פול סטאק דאטה סיינס</p><p>16:59 עוד קורסים במדמ״ח (או: כמה הילה קיבלה ברשתות תקשורת)</p><p>20:10 אז מה חסר ומה מיותר</p><p>23:59 הטיפים לדור העתיד</p>

<p><strong>דאטה סיינטיסטים יספרו לנו בהתלהבות על איך הם פותרים class imbalance, אך מה לגבי imbalance של משתנים דמוגרפיים?</strong></p><p><br></p><p>השבוע באקספליינבל, אירחנו בשנית את נורית כהן אינגר כדי להבין האם מודל שאינו הוגן יכול להיות מדויק. נזכרנו בסקנדל של מודל COMPAS לחיזוי פשיעה חוזרת של עצורים בארה״ב, שחזה false positives פי 2 בקרב אוכלוסיה אפרו-אמריקנית. </p><p>עמדנו על ההבדלים בין הוגנות קבוצתית לבין הוגנות אינדיבידואלית, ואיך לעצב מודל הוגן יותר בשלב הדאטה, האימון, והריצה. אז מודדים היום הוגנות של מודלי שפה? האם פייריות היא פיצ׳ר או מטריקה? ואיך מייק והילה הצליחו להשמיץ שוב את שיטת SMOTE? כל זאת ועוד - בפרק!</p><p><br></p><p><br></p><p><br></p><p><br></p>

<p>כדאטה סיינטיסטים, אנחנו מאוד רגישים ל Jailbreaking וחולשות במודלי שפה, עד כדי כך שאנחנו עלולים לשכוח שהמוצרים שאנחנו בונים פגיעים גם לחולשות אבטחה סטנדרטיות. </p><p>השבוע בexplAInable הזמנו את רועי פז, Principal AI Security Researcher שמקבל צ׳קים כדי למצוא פגיעויות באפליקציות LLM. הבחנו בין חולשות במודל לחולשות אפליקטיביות, הגדרנו מונחי בסיס כמו Sandbox, Lateral Movement, וניסינו להבין מה המוטיבציה של חברות כמו OpenAI לתגמל האקרים ולשלם להם כסף על פגיעויות שהם מוצאים במודל. </p><p>שמענו גם על אייג׳נטים שעוזרים להאקרים לכתוב מתקפות מתוחכמות יותר, ועם אלו חולשות אין לנו סיכוי לקבל צ׳ק בתוכניות Bug Bounties של מודלי שפה גדולים. כל זאת ועוד - בפרק!</p><p>לינקדאין של רועי פז: <a href="https://www.linkedin.com/in/roy-paz/"><u>https://www.linkedin.com/in/roy-paz/</u></a> </p><p>תוכנית הבאג באונטי של OpenAI שכבר שילמה ל330 האקרים: <a href="https://bugcrowd.com/engagements/openai"><u>https://bugcrowd.com/engagements/openai</u></a> </p><p><br></p>

<p>בשבוע האחרון של שנת 2025 אנחנו ממשיכים את מסורת סיכום השנה שלנו. אורי והילה תהו אם חזרנו להיות סטטיסטיקאים, למה code generation נהיה מעולה אבל פילטר הספאם של גוגל עובד פחות טוב, ומה הקשר בין הבייסליין החדש בכתיבת אימיילים לעריכת וידאו. </p><p>הכרזנו על השנה כשנת ה-consolidation, תהינו מה התרומה שלנו כ- Data Scientists להנדסת AI, והאם בשנת 2026 נתחיל לפגוש ביוזרים סינתטיים. כל זאת ועוד - בפרק!</p><p><br></p>

<p>השבוע בexplAInable, אירחנו את שי אלון, אוונגליסט סטארט-אפים בגוגל קלאוד ושמענו על הכלים השונים למדיה גנרטיבית (בעיקר תמונות ווידאו) מבית היוצר של גוגל. ניסינו להבין מה הקשר בין אורך ה-Context Window לסרט הוליוודי באורך מלא, איך ההתחלה מייצור ה-ending frame מעלה את איכות הסרטונים, מה גרם ל Notebook LM להפוך ממוצר נסיוני להצלחה מסחררת, וגם איך נוכל להשתמש בכלים האלו בעצמנו.</p><p>הקורס של שי: https://cloudonair.withgoogle.com/events/startup-school-ai-q4-2025?utm_source=podcast&amp;utm_medium=shaialon</p><p>הלינקדאין של שי: https://www.linkedin.com/in/shaialon/</p><p>00:00 היי שי!</p><p>01:13 מה בתפקיד evangelist בגוגל קלאוד</p><p>02:30 מדיה גנרטיבית בגוגל</p><p>05:22 האתגרים וההזדמנויות בג׳נרוט של וידאו</p><p>15:25 על Notebook LM- מסטארט-אפ פנימי לפודקאסט ששמועים ברכב</p><p>23:21 על deep research של גוגל</p><p>27:00 הקורס של שי על מדיה גנרטיבית</p><p><br></p>

<p>השבוע ב-explAInable, ניסינו להבין האם ל-LLM יש בינה אמיתית, יחד עם ד״ר אלישע רוזנצוויג, חוקר בדיקטה ומנחה הפודקאסט ״אלישע והזוויות״. </p><p>ניסינו להבין אם מבחן טיורינג הוא פרוקסי רע למדידת בינה מלאכותית, איך רלטיביות של ייצוגי embeddings קשורים למעגליות בהגדרות מילוניות, ואיך חוק גודהארט על תבניות סטטיסטיות חזה את זה ש- LLMs ידעו לשקר לנו בצורה מהימנה יותר. </p><p><br></p><p>האם ה-LLMs שאנחנו מכירים היום יצליחו לקדם אותנו לעבר AGI? האם מולטי-מודאליות יעזרו לנו להגיע לבינה אמיתית? ואיך רבנים יכולים להשתמש כבר היום במערכות RAG על פסיקות קודמות? כל זאת ועוד- בפרק!</p><p><br></p>

<p>למה תמיד כשאנחנו משתמשים בUMAP, קלאסטרים עם אותה כמות נקודות נראים באותו הגודל?</p><p>השבוע ב-explAInable, מייק והילה צללו לשיטת הויזואליזציה UMAP, שנחשבת לחדשנית ביותר בתחום ומשמשת רבים מאיתנו בהדמיה של נתונים ממימד הגבוה למרחב הטלה של דו-מימד (או תלת-מימד). ניתחנו את משמעות השם של השיטה, ובדקנו איך הנחת התפלגות האחידה שלנו המהווה את הבסיס להטלה במימד הנמוך יכולה לשבש לנו את התוצאות. </p><p><strong>האם אנחנו באמת יכולים לסמוך על צפיפות הנקודות במרחב ההטלה, האם יכול להיות שאנומליות ימסו לנו לקלאסטרים המרכזיים? כל זאת ועוד - בפרק!</strong></p><p>לינק לקוד הפתוח של UMAP, שכולל הטמעה של densMAP: </p><p><a href="https://github.com/lmcinnes/umap" rel="ugc noopener noreferrer" target="_blank">https://github.com/lmcinnes/umap</a></p><p>לינק למאמר של UMAP בארכיב (עדכון אחרון של המאמר ב-2020):</p><p><a href="https://arxiv.org/abs/1802.03426" rel="ugc noopener noreferrer" target="_blank">https://arxiv.org/abs/1802.03426</a></p><p>בואו להתארח אצלנו כמומחים בפרקים הבאים:</p><p><a href="https://forms.gle/JQM2zTmeY6cp58AA9" rel="ugc noopener noreferrer" target="_blank">https://forms.gle/JQM2zTmeY6cp58AA9</a></p><p><strong>פרקים</strong></p><p>00:00 מתי קווים מקבילים יפגשו?</p><p>00:51 היי UMAP, שמור לי על שכנים קרובים ונקודות רחוקות בבקשה!</p><p>02:26 החשיבות העסקית של ויז׳ואליזציות בעלות משמעות</p><p>03:19 עושים decoding לשם השיטה. </p><p>04:55 איך UMAP עובד מתמטית</p><p>07:54 אוי לא, הנחת ההתפלגות האחידה מסבכת אותנו!</p><p>08:46 האם הויזואליזציות שאנחנו מייצרים משקרות לנו?</p><p>11:00 שיפורים של UMAP להתמודדות עם צפיפות משתנה</p><p><br /></p><p><br /></p>

<p>השבוע ב-explAInable אירחנו את ד״ר אלי שוורץ, מנהל קבוצת בינה מלאכותית מולטי מודאלית ב-IBM. ניסינו להבין את חשיבות המולטי-מודליות, למשל בעבודה עם מסמכים הכוללים טבלאות ותמונות, והבנו מה מקומם של מודלים קטנים יותר. אז מהם שלושת הרכיבים בארכיטקטורה שמאפשרים הטלה של תמונות במרחב הטקסט? למה מייק מאמין במודלים קטנים? והאם העתיד נמצא דווקא במודלי דיפיוזיה? כל זאת ועוד- בפרק!</p><p> </p><p>לפרק ביוטיוב:  <a href="https://youtu.be/AXj6VLAzYEM" rel="ugc noopener noreferrer" target="_blank">https://youtu.be/AXj6VLAzYEM</a> </p><p>ללינקדאין של אלי: <a href="https://www.linkedin.com/in/elischwartz/" rel="ugc noopener noreferrer" target="_blank">https://www.linkedin.com/in/elischwartz/</a> </p><p>למאמר: <a href="https://arxiv.org/abs/2502.09927" rel="ugc noopener noreferrer" target="_blank">https://arxiv.org/abs/2502.09927</a> </p><p>למודל הפתוח: <a href="https://huggingface.co/ibm-granite/granite-vision-3.3-2b" rel="ugc noopener noreferrer" target="_blank">https://huggingface.co/ibm-granite/granite-vision-3.3-2b</a> </p><p>בואו להתארח אצלנו כמומחים בפרקים הבאים: <a href="https://forms.gle/tUArnguwPU5KFNKx5" rel="ugc noopener noreferrer" target="_blank">https://forms.gle/tUArnguwPU5KFNKx5</a> </p><p> </p><p> </p>

<p>השבוע ב-explAInable אירחנו את נורית כהן אינגר,  דירקטורית Data Science בלושה, ודוקטורנטית בפקולטה למדעי המחשב ומידע בבן-גוריון. ניסינו להבין את המחויבות של מובילים בתעשייה להישאר מעודכנים בחזית המחקר, ובעיקר - איך מצליחים לעשות ״גם וגם״. אז איך תחרות בקאגל יכולה להוביל לשינוי קריירה? איך מייק מצליח לקרוא מאמר כל יום? והאם הטמעה של מערכות ריבוי-סוכנים (multi-agents) זה הכל עניין של קונטקסט אנג׳ינירינג? כל זאת ועוד- בפרק!</p><p> </p><p><a href="https://www.linkedin.com/in/nurit-cohen-inger-265269b2/" rel="ugc noopener noreferrer" target="_blank">ללינקדאין של נורית</a><br /><a href="https://forms.gle/tPtEGyGtadxPZ7Qg9" rel="ugc noopener noreferrer" target="_blank">בואו להתארח אצלנו כמומחים בפרקים הבאים</a></p><p> </p>

<p>השבוע ב-explAInable, אירחנו את ירון חביב וזכינו להצצה נדירה לתפקידו כ Technology Lead במקינזי.</p><p>ניסינו להבין מה עומד מאחורי הקשיים על חברות ענק לדחוף פרוייקטים GenAI בארגון, והאם יש מקרים חוץ מ-Copilot ו-data extraction שעובדים ללקוחות שלהם. בדקנו מהם ארבעת החלקים של LLM Ops, והאם הם שונים מ-MLOps קלאסי. האם אנחנו בעיצומה של מהפכה כלכלית? או רק שינוי הדרגתי? כל זאת ועוד- בפרק!</p><p> </p><p> </p>

<p>השבוע ב-explAInable, אירחנו את פרופ׳ איתן פתיה כדי להבין האם אסטרטגיות מתורת המשחקים יכולות לעזור לנו במודלים מרובי משימות (Multi-task) ומרובי מטרות (Multi-objective). האם ריבוי מטרות בהכרח יעיד על הכללה טובה יותר (generalization)? האם ג׳ון נאש יצליח לשפר החלטות של סוכנים נטולי אגו? ואיך הכל מתקשר ליכולת לשכוח תמונות ו-Jailbreaking - כל זאת ועוד, בפרק!</p><p>למעבדה של איתן: <a href="https://sites.biu.ac.il/en/ethan-fetaya-lab" rel="ugc noopener noreferrer" target="_blank">https://sites.biu.ac.il/en/ethan-fetaya-lab </a></p><p>בואו להתארח כמומחים בפודקאסט שלנו: <a href="https://forms.gle/Eanqmf6mby2YcXTw9" rel="ugc noopener noreferrer" target="_blank">https://forms.gle/Eanqmf6mby2YcXTw9</a> </p>

<p>השבוע ב explAInable, אלכסיי ספוזניקוב הגיע לספר לנו על ה-Disruption שמודלי LLM הביאו לעולם הסטארט אפים. דיברנו על השינוי בעולם הגיוסים בעידן בו ה time to market הרבה יותר מהיר, השיפט הטקטוני בשלב הפרה-סיד של סטארטאפים ואבטחת מידע בעידן ה- GenAI. אז האם יש מקום לסטארטאפים בעולם של ענקיות? כל זאת ועוד בפרק!</p>

<p>השבוע ב explAInable, הילה פז הרשפנג הגיעה לספר על פרוייקט Compressive Sensing במסגרת התואר השני שלה ב Harvard Extension School, בשיתוף עם נאס״א. נבין מה ההבדל בין מצלמה באייפון לחישה של כדור הארץ ב300 אורכי גל שונים, נבחן הורדות מימדים במרחב הספקטרלי, נדבר על ה Business Value בוויתור על 90% מאורכי הגל, ולמה דרישת הלינאריות גורמת לנו לחפש דווקא פתרונות פשוטים.</p><p><br></p><p><a href="https://www.linkedin.com/in/hilapaz/" target="_blank" rel="ugc noopener noreferrer">ללינקדאין של הילה</a> </p><p><a href="https://www.tiktok.com/@pazpazthecoder" target="_blank" rel="noopener noreferer">לדף הטיקטוק של הילה</a></p><p><a href="https://forms.gle/1DPKDJjHpUfNgwp69" target="_blank" rel="ugc noopener noreferrer">בואו להתארח אצלנו כמומחים בפרקים הבאים <br></a></p>

<p>בפרק הזה מייק ריאיין את תמיר שסיפר על האפליקציה שהחברה maik-education.com שלו מפתחת. מדובר באפליקצייה וובית ייחודית שהינה סביבת Reinforcement Learning הניתן להפעלה באופן פיסי עם רובוטים אמיתיים שכל אחד יכול ליצור בבית או במשרד. בסביבה ניתן ליצור סוכנים, להגדיר להם התנהגויות בקוד או במודל דיפ אותו ניתן לאמן למיקסום פונקצית תגמול כלשהיא. לאחר שהפרויקט רץ ועובד וירטואלית ניתן לחבר כל סוכן לרובוט בבלוטוס (יש גם ערכות לזה) ויש לייצב מצלמה שתתפוס את זירת הרובוטים ואז כל מה שתיכנתנו או אימנו בסימולציה יקרה בעולם הפיסי. בפרק תמיר הראה פרויקטים כמו רובוטים שיודעים להסתדר בצורה של משולש, רובוט (פוטבול) המנסה להגיע לקו בעוד רובוט אחר המנסה לחסום אותו (AI vs AI), רובוט המגיע לנקודת יעד מבלי להתנגש במכשול או לחילופין כך שיעבור דרך נקודה שתזכה אותו בתגמול חלקי, ועוד. הסביבה מאפשרת לכל אחד ליצור פרויקט רובוטים יצירתי כלשהוא למטרות למידה וכף.</p><p> </p>

<p>בפרק זה, ד״ר בוריס גורליק — חוקר נתונים, מרצה ורוקח בעברו — מציג היפותזה מרתקת שלפיה מודלי שפה גדולים מפגינים התנהגות אנושית יותר מכפי שמצופה מהם. מכאן השיחה גלשה לפסים פילוסופיים על טיב התבונה, משמעות החיים, והאם אלגוריתמים ישנים כמו SVM עשויים לשוב ולתפוס מקום מרכזי בעולם ה-AI.</p><p><br />המאמר של בוריס בו הוא מציג את ההיפותזה : https://www.mdpi.com/2076-3417/15/15/8469</p><p>ויש לו גם פודקאסט על המזרח התיכון https://anchor.fm/hashavua</p>

<p>בפרק הזה שמחנו לארח את שוקי כהן מ AI21 - החברה הישראלית המובילה בעולם בפיתוח בינה מלאכותית. בשיחה עם שוקי למדנו מניסיונו העשיר וצללנו לנבכי פיתוח בינה מלאכותית: מפיתוח מודל היברידי Jamba, דרך וורדטיון ועד למוצר הדגל שלהם, מאסטרו. ניסינו להבין איך נוצר האקלים היחודי שגרם ל AI לחדור לכל סלון בעולם המערבי תוך חודשים ספורים, ומאידך דנו בשאלה מדוע פרויקטי AI נכשלים ולא מגיעים לפרודקשן. חקרנו את הסוגיות שמעסיקות את כולנו, אבל הפעם ממקור ראשון - מחברה שמפתחת בעצמה את טכנולוגיית הקצה הזו שמשנה את החיים של כולנו. </p>

<p>סערת טוויטר אחרונה דיברה על evals לאייג׳נטים וLLM באופן כללי - האם מדובר בכלי נדרש או בקידום עצמי של בעלי עניין?</p><p>אלמוג, מוביל קהילת GenAi, איתנו לדבר על החשיבות והמגבלות של evals - ולמה הם ממש לא פתרון קסם.</p><p>נדבר על פרקטיקות נפוצות לאיסוף פידבק, וביצוע error analysis ליצירה של agent שיודע להשתפר לאורך זמן.</p><p> </p>

<p>״אם לניוטון היה רשת נוירונים לעולם לא היינו לומדים את נוסחאות הכבידה״</p><p>האם החדשנות בAI מאיצה או מאטה את קצב הגילויים המדעיים. נכון כנראה שחוקרים יכולים לכתוב קוד מהר יותר, אבל האם נגלה עוד נוסחאות קצרות ומרשימות כמו תורת היחסות הפרטית או חוקי ניוטון?</p><p>איתנו פרופסור טדי לזנביק לדבר על האופן שבו בינה מלאכותית משנה את תהליך הגילוי המדעי, תוך מעבר מעבר ללמידת מכונה מסורתית לשיטות המשלבות ידע קודם והיגיון סימבולי. הוא בוחן את תחום ה־רגרסיה הסימבולית (Symbolic Regression) כאמצעי לחשיפת חוקים מתמטיים ניתנים לפרשנות ישירות מנתונים, ומדגיש את תרומתה לחשיפת המשוואות היסודיות של הטבע. הדיון מתמקד גם בשילוב ידע תחומי בתוך מודלי הבינה המלאכותית – במיוחד בגישות המונחות על־ידי עקרונות פיזיקליים – וכן באופן שבו מודלים שפתיים גדולים (LLMs) יכולים לשפר את תכנון הניסויים, להאיץ את ניתוח הנתונים ולהפיק השערות חדשות באופן אוטומטי. לבסוף, הפרק מתעמק בתפקידם של LLMs ועיבוד שפה טבעית (NLP) באוטומציה של סקירות ספרות מדעיות ובפיתוח היגיון פורמלי לבדיקת אמיתות מדעיות, ומדגים כיצד בינה מלאכותית מאיצה את תהליך הסינתזה וההתקדמות המדעית.</p><p>קישורים לעיון:</p><p><a href="https://sciences.ucf.edu/biology/d4lab/wp-content/uploads/sites/23/2023/01/Gigerenzer-2004-Mindless-Statistics.pdf" rel="ugc noopener noreferrer" target="_blank">Mindless statistics</a> </p><p><a href="https://journals.plos.org/plosmedicine/article/file?id=10.1371/journal.pmed.0020124&amp;type=printable" rel="ugc noopener noreferrer" target="_blank">Why Most Published Research Findings Are False</a></p>

<p>ראיון עם עם פרופ’ נעם קניגשטיין מאוניבריסטת תל אביב, מומחה למערכות המלצה וחוקר לשעבר המוביל של XBox recommendation במיקרוסופט.</p><p>מהחלוקה הקלאסית בין מערכות collaborative filtering ו-content based ועד ל-hybrid והמעבר ל-embeddings ו-matrix factorization. נעם יסביר את התפתחות האלגוריתמים, את ההבדלים בין explicit ל-implicit feedback, ואת האתגרים בבחירת ממד המודל. בנוסף נעם מדגיש את הפער בין ביצועים ב-offline test set לבין ביצועים אמיתיים בשטח, ואת הצורך להבין סיבתיות ולא רק קורלציות.</p><p>דיברנו על ההבדלים בין אלגוריתמים כמו bandits, שימוש ב-organic feedback, והקושי ב-off policy evaluation תוך איזון בין bias ל-variance.</p><p>פרופ׳ קניגשטיין מספר על יישומים אמיתיים במוזיקה ובסרטים, על ההבדלים ביניהם, ועל החשיבות של הסברים (XAI) כדי להתמודד עם בעיות כמו filter bubbles. לבסוף, הוא מצביע על חזון לקדם את קהילת מערכות ההמלצה בישראל ולחבר בין האקדמיה לתעשייה.</p>

<p>בעידן שבו כל יום מאיימים עלינו שעוד מעט לא יצטרכו מתכנתים כי AI יחליף את כולנו, האם צריך ללמוד הנדסת תוכנה?<br />ד״ר אסף שפנייר ראש התוכנית לתואר שני בבינה מלאכותית מהמכללה להנדסה - עזריאלי בירושלים, יספר מדוע מדובר ב Fake news.</p><p>נדבר על החוסרים שAI מתקשה למלא בעולמות הנדסת התוכנה, ועל התפקיד החדש של מהנדס תוכנה בעידן שאחרי ChatGPT.</p><p>לאסף יש מספר עצות לבוגרים טריים, איך נכון להתבלט בשוק שבו ״פרויקט גמר״ כבר לא מרשים אף אחד - כי תמיד יש את הספק אם הוא נכתב על ידי AI או אדם.</p><p>ואיך בכלל בודקים הבנה של יסודות תוכנה בסיסיים כאשר כלים כמו Cursor יכולים להשלים את החסר בצורה טובה יחסית.<br /><br />קישור לפודקסט של אסף: <a href="https://open.spotify.com/show/2HggG3hXxcJ8kSlZTErcRi?si=jbQrl2EeSqW3dPuFdygRjg" rel="ugc noopener noreferrer" target="_blank">מתכנתים מחדש את ההוראה</a></p>

<p>כולם מדברים היום על קידוד עם AI, בין אם זה עם כלי עזר כמו co-pilot או cursor, השלמה אוטמטית. או כתיבה של תוכניות שלמות עם vibe coding עם כלים כמו lovable או base44.</p><p>בפרק זה נארח את גילי נחום, לענות על שאלות על עתיד עולם התוכנה והכלים האחרונים.</p><p>נדבר על שימוש נכון בMCP, על חלוקה של הכלים לדורות וההיררכיה שלהם.</p><p>ונתן עצות מה המקומות הנכונים לשלב כלים כמו claude code לעומת כלים אחריםץ</p>

<p>אימון מודלים זה דבר מורכב, הכולל בחירה חכמה של גודל הבאצ׳ים, ובחירה נכונה של דאטא איכותי ונקי.</p><p>בפרק זה נדבר עם עידן משיח, סטודנט לתואר שני בתחום על אלטרנטיבה או השלמה ללמידה בבאצ׳ - למידה בהמשכים.</p><p>נדבר על האתגרים של ״שכחה״ catastrophic forgetting כשחושפים מודל לדאטא חדש.</p><p>עידן ישטח בפנינו את שלושת האלטרנטיבות ללמידה הדרגתית, הכוללים שינוי של מבנה הדגימה, עדכון המודל ושינויים בפונקציית האופטימיזציה.</p><p>נשווה בין למידה ישירה ללמידה בהמשכים ונמליץ על טיפים פרקטיים לכל מי שמאמן מודלים על דאטא גדול.</p>

<p>AI מעולם לא היה זמין יותר, ולמרות זאת חברות רבות מתקשות במחקר ופיתוח מוצרים/פיצ'רים מבוססי GenAI. מה הן מפספסות? מדוע זה שונה כל כך מפיתוח תוכנה "קלאסי"? <br />בפרק זה אירחנו את עוז ליבנה, יועץ וארכיטקט GenAI, לשתף מנסיונו ולהסביר על שינוי הפרדיגמה העמוק הדרוש להצלחה במחקר ופיתוח GenAI, ועל ההבדלים המהותיים מפיתוח תוכנה קלאסי - ברמת החשיבה, התכנון, התמודדות עם אתגרים, צורת ההתקדמות, POCs, ומטריקות</p>

<p>בפרק זה היה את הכבוד לארח את ג׳וני, מהכותבים המקוריים של מאמר הscaling laws ב2019 שסלל את הדרך למודלי השפה העצומים של ימינו.</p><p>חשבתם פעם איך לסם אלטמן היה את האומץ לשפוך מליונים על אימון GPT3 בתקווה שיהיה מודל טוב יותר מאשר מודל באלפי דולרים?</p><p>תגלית חוקי הסקיילינג (שלהם ג׳וני היה שותף) היתה המנוע העיקרי להבנה איך עובדת הכלכלה של אימון מודלי שפה.</p><p>נגענו במוטיבציה לכללים, ומדוע אנחנו יכולים לנבא ביצועים של מודל אף על פי שאיננו יודעים איך הוא עובד בדיוק.</p><p>דיברנו על ההבדל בין ההשפעה של החוקים על שלב האימון לעומת שלב הinference כפי שאנחנו רואים במודלי chain of thought.</p><p>והאם סקיילינג תלוי בארכיטרטורה של הטרנספורמרים אותה אנחנו מיישמים כיום? או שמדובר בתופעה כללית.</p><p>סיימנו בדיון על העתיד של התחום, וכיצד אפשר למדוד אוטונומיה של מודלי שפה בצורה דומה בעתיד כדי להבטיח שתהיה שליטה במודלים הבאים.</p>

<p>זה נראה שרוב הפוקוס הנוכחי הוא על הכנסת דאטא עדכני לדאטאסט של אימון של מודל, ושמירת המודל עדכני.</p><p>אבל הצד השני של המטבע הזו, הוא לגרום למודל לשכוח נתונים שאינם עדכניים.</p><p>בין אם מדובר בחוקי מס שהשתנו או בביאסים של הדאטא (כמו דעות קדומות) שהיינו רוצים לשנות, שיכחה היא דבר חשוב.</p><p>פרופסור עודד שמואלי מהטכניון ידבר איתנו על המורכבות של ״עריכת״ מידע של מודלים, החל ממודלי קלאסיפיקציה פשוטים ועד מודלים מורכבים שפועלים על מספר מודאליות</p>

<p>בפרק זה אירחנו את אלן ארזי, מהכותבים של TabStar (יחד עם עילם שפירא ופרופ. רועי רייכארט) - מודל דיפ לרנינג המיועד למידע טבלאי.<br />בניגוד לתמונה, קול וטקסט - במידע טבלאי מודלי דיפ לרנינג הם לא הגישה הרווחת.<br />האתגר הגדול בעולמות הטבלה היא חוסר האחידות, טבלאות יכולות לתאר מגוון רחב של נתונים בלי מכנה משותף ביניהם - ולכן קשה למצוא ״מודל בסיס״ כמו בעולמות התמונה.</p><p>בטאב סטאר, הכותבים לקחו גישה שמערכת מודלי שפה (ובפרט טרנספורמרים) והשתמשו בשמות העמודות ובתיאור הטקסטואלי של הקטגוריות בשביל לתת למודל קונטקסט.</p><p>השיטה מראה ביצועים עדיפים על XGBoost כאשר יש מגוון של עמודות טקסטואליות במשימות קלאסיפיקציה.</p><p>אלן סיפר לנו על האתגרים באיסוף מידע לאימון ועל הצפוי לנו בעתיד בעולמות המידע הטבלאי.</p><p> </p>

<p>רביד זיו, לשעבר מהמעבדה של יאן לקון, היום פרופסור בNYU וחוקר פורה בדיפ לרנינג ידבר איתנו על דחיסה ולמידה.</p><p>בעוד דחיסה מזכיר לחלקנו זיפ, או jpeg - רביד ירחיב על איך רשתות דוחסות מידע בצורה יעילה.</p><p>נדבר על שיטות כגון next token prediction שמסתבר שמאלצות מודלים ללמוד דחיסה יעילה יותר מאשר masking כמו בBERT.</p><p>נדבר על חשיבות האוגמנטציה בתהליך האימון - או יותר נכון, חוסר החשיבות כפי שנראה.</p><p>ונעמיק על הקשר שבין דחיסת מודלים, דחיסת אינפורמציה והמשימות אליהן רוצים לעשות אופטימיזציה</p>

<p>מתי מריאנסקי, מוביל קהילת עליית המכונות הפופולארית, אמן ומשתמש נלהב בAI ידבר איתנו על נסיונו.</p><p>נדבר על המגבלות והדפוסים שנראה שAI נופל אליהם, האם מודל בינה יוכל לייצר את סגנון הקוביזם החדש?</p><p>ונדבר על ההשלכות של פילטרי הבטיחות על איכות המודלים.</p><p>לסיום, נדון האם יש טעם ללמוד היום עיצוב גרפי, והאם התחום בדרך לאוטומציה מלאה.</p>

<p>היום בעידן מודלי השפה הגדולים כשתרגום סימולטני מתאפשר בלייב, זה נראה כאילו מאז ומתמיד ChatGPT ידע לדבר עברית.</p><p>עד לא מזמן היתה צניחה משמעותית בביצועים של מודלי שפה על שפות שאינן אנגלית.</p><p>בפרק זה גיא רוטמן, חוקר אקדמי בתחום ובתעשייה ב gong.io ידבר איתנו על אתגרי העבר והווה באימון מודלי שפה רב שפתיים.</p><p>נדבר על טיפים עכשוויים להתמודדות עם שפות כגון עברית, ועל אתגרי הדאטא.</p>

<p>יוצא לנו הרבה לדבר על אייג׳נטים, על מודלי שפה, ועל איך הם עובדים.</p><p>בפרק זה אנחנו נדבר עם מיכאל קיסילנקו - היזם מאחורי GenDesk, שמגיע שיטתית למליוני חשיפות בלינקדין בעזרת שימוש בAI.</p><p>מיכאל פיתח מומחיות רבה, ולמד את האלגוריתם של לינקדין מכל הצדדים.<br />פרק מלא תובנות שאסור לפספס</p>

<p>היום כשמודלי שפה נהיו כ״כ חזקים, אנחנו לוקחים כמובן מאליו את יכולות הבנת התמונה.<br />בפרק זה פרופ. עידן שוורץ מאוניברסיטת בר אילן יספר לנו על ההיסטוריה של התפתחות התחום, על ביאסים בתשובות ואיך מתמודדים איתם ומה הם האתגרים העכשוויים בתחום.<br />ריבוי מודאליות גורם גם לבעיות מסדר שני, כגון ישור הקלטים, מציאת מרחב משותף מייצג, וכמובן מה עושים כאשר יש קונפליקט בין המימד החזותי לטקסטואלי למשל.<br /><br />ב28 למאי ייערץ יום עיון בבר אילן, שם עידן ומיטב המוחות בתחום יציגו את העבודות שלהם.<br /><br />קישורים לעיון:<br />https://biu365-my.sharepoint.com/:f:/g/personal/schwari9_biu_ac_il/Eus14HAcXQBBuS_GhknGbh4Bevs1VixlLgPO0yCgLReY2w?e=GZJDnO</p>

<p>אחרי שנתיים ביקרנו שוב בכנס Haystack העוסק בחיפוש והמלצה.<br />נדבר על ההבדלים בין 2025 לשנת 2023 ועל מגמת החזרה לעולם החיפוש הלקסיקוגרפי על חשבון החיפוש הוקטורי.</p><p>ועל גישות<br />LLM as a judge<br />הרווחת לאיבליואציה של חיפוש והמלצה</p>

<p>מודלי שפה גדולים אמנם עוזרים לפרודקטיביות, אבל גם של ההאקרים.</p><p>עולם הסייבר השתנה רבות מאז יציאת ChatGPT - מומחים מעריכים שמספר הפריצות גדל פי ארבעה.</p><p>בפרק זה נתן כץ יסקור לנו ארבע שיטות לניצול חולשות במודל השפה עצמו.</p><p>נדבר על גניבת מודלים, ״הרעלה״ של סט האימון והרעשה של המודל לביאס עבור מילת אקטיבציה ספציפיתץ</p><p>נתן יחלוק לנו מתובנותיו בlumin AI על תהליך המכירה לCSO בארגון, ונדבר על ההבדלים בין סיכוני open source ל״משקולות פתוחים״<br /><br />לקריאה נוספת:</p><p>https://owasp.org/www-project-machine-learning-security-top-10/<br />https://owasp.org/www-project-top-10-for-large-language-model-applications/assets/PDF/OWASP-Top-10-for-LLMs-2023-v05.pdf</p>

<p>בפרק זה החליפו מייק ותמיר את התובנות החידודים והשאלות הפתוחות שלהם בניסיון להבין איך מתחברים עולם ה RL ועולם ה LLM (קרי RLHF). ב 2024 השתנתה הפרדיגמה - בתחילה יצירת מודל reward כדי לעשות אימון נוסף ל LLM אחרי ה pretraining שלו באמצעות PPO. ולאחר מכן הוחלף ה PPO בRLHF.</p><p>בעוד רוב מודלי ה reasoning של החברות הגדולות (chatgpt, claude, gemini) עדיין באפילה - נדבר על איך לדעתנו RLHF יכול לשמש בתהליך.</p>

יאן לקון, מאבות הAI המודרני מאמין שהעתיד נמצא בתיכנון טווח ארוך (planning) ולא בחיזוי המילה הבאה.פרופסור גיא שני מהפקולטה להנדסת מערכות מידע באוניברסיטת בן גוריון ומוביל קבוצת מחקר בeBay יספר לנו על האתגרים.נדבר על סוגים של אי וודאות במודלים, ושיטות תכנון לאופק מוגדר לעומת אופק לא ידוע.נצלול לעומק הגישות המרקוביות הקלאסיות, כמו POMDP ונשווה מול גישות Reinforcement learning.<br />למי שמעוניין לצלול לפרטים, פרופסור גיא שני והמעבדה שלו הקליטו קורס אונליין חינמי בקישור הבא:<br /> <a href="https://campus.gov.il/course/bgu-acd-bgu-ai101/" rel="ugc noopener noreferrer" target="_blank">https://campus.gov.il/course/bgu-acd-bgu-ai101/</a>

<p>כנס הGTC של אנבידיה הוא אחד האירועים המרכזיים של עולם הAI.</p><p>הכנס נערך חמישה ימים והסתיים ב22 למרץ 2025, בפרק זה ננסה לתמצת לכם את עיקרי הדברים בעשרים דקות.</p><p>וכהרגלנו, נבחון בעין ביקורתית את ההצהרות וההכרזות שהיו בכנס.</p><p>מה נאמר על רובוטים, דיפסיק, עתיד המניה ומה לא נאמר ובלט בהיעדרו.</p>

מעטים המאמרים המתארים בפירוט רב כל כך את האתגרים של יצירת וידאו מטקסט.במאמר הMovieGen של מטא, נכתבו 92 עמודים של המודלים השונים שנדרשים כדי לייצר סרטונים קצרים.בפרק זה לירון יספר לנו על האתגרים הטכניים כמו מגבלת הזכרון, וסוגי הטעויות שניתן להבחין בסרטונים מג׳ונרטים.אנחנו נסקור בקצרה את הגישות שמטא לקחו במאמר שלהם, ונפרק את השיטה לתתי המודלים שמרכיבים את הpipeline הארוך של יצירת סרטונים עם AI.

להכניס מודלי שפה כמו ChatGPT למערכת, זה יחסית קל ונגיש, עם אלפי דוגמאות ותמחור תחרותי אצל הספקים השונים.אבל למדוד את הביצועים של מודל כזה או אחר נשארת בעיה פתוחה, במיוחד אם משלבים גם מדדים עסקיים.בפרק זה נארח את אסף בורד, שמוביל את מאמצי ה GenAI בחברת Northwestern Mutual והשיק לאחרונה את Multinear.com כקוד פתוח לאבלאוציה.נדבר על חמשת הרכיבים שיש לבדוק כשמנסים להעריך מערכת AI בשלמותה: דאטא, פונקציית המטרה, הפרומפט, הסטאק הטכנולוגי ובדיקות.ונעמיק בהשוואה מול ספריות אחרות וטכניקות מדידה כגון GPT as a judge

נראה שהבינה המלאכותית כבר כאן, חיה ובועטת - אבל עדיין אין רובוטים מתהלכים ביננו.בעוד מודלי שפה גדולים מגיעים לתוצאות מבחני לשכה מעל העורך דין הממוצע, הם עדיין מתקשים בקיפול גרביים.בפרק זה נארח את אופיר זמיר מNVIDIA שייספר לנו על האתגרים, ועל טכניקות כגוןImitation learning, Simulationועל הכלים שאנבידיה מביאה לשולחן מבחינת חומרה ותוכנה כדי להפוך את החלום על רובוטים למציאות. זו הזדמנות מעולה להזכיר שכנס הGTC השנתי של אנבידיה קורה החודש, ב17 למרץ ואפשר להשתתף אונליין ללא עלות.להרשמה<a href="https://www.nvidia.com/gtc/?ncid=ref-inpa-481629" rel="ugc noopener noreferrer" target="_blank">https://www.nvidia.com/gtc/?ncid=ref-inpa-481629</a>

<p>כולנו מכירים את התופעה שמודלי שפה גדולים נוטים להמציא דברים שלא היו ולא נבראו. אבל האם אפשר לכמת את איכות המודל לפי רמת ה״הזיות״ שלו?</p><p>ומה לגבי סוכנים? שם טעות בשלב אחד יכולה להשפיע דרמטית על הכלים שייבחרו בשלבים הבאים?</p><p>אירחנו את ישי רוזנברג, חוקר בתחום שמוביל את Verax AI לדבר על איך אפשר להתמודד עם בעיות האמינות של מודלים.</p><p>ומדוע לדעתו צריך להיות דקדקנים במינוח של סוגי הטעויות לפי הקונטקסט הנכון.</p>

<p>בר שאלתיאל מוביל את קהילת בינה מלאכותית בגובה העיניים המונה מעל 30000 אנשים. בר שיצא בשאלה מהעולם החרדי לפני כשלוש שנים גילה כמעט בטעות את כוחם של מודלי השפה הגדולים כשהתחיל לסייע לסטודנטים לכתוב עבודות אקדמיות.<br />מאז נכנס בר למסע של מחקר והבנה איך המנגנון עובד, ואילו פרומפטים יעילים ביותר.<br />יוצא לנו הרבה לדבר על מודלי שפה גדולים מנקודת המבט של החוקר, ובפרק זה נצלול לראשונה לחוויית המשתמש והbest practices שבר מלמד מהעבודה בשטח.</p>

<p>כבר חמש שנים שאנחנו מקליטים על למידת מכונה, אלגוריתמים ולא מעט על GenAI.</p><p>עוד אף פעם לא מאוחר להזמין לפרק לייב, בשיתוף פעולה עם qodo לפרק מיוחד של Ask me anything/</p><p>כדי שנוכל להתכונן, נשמח לענות על השאלות שלכם בקישור הבא:</p><p>https://docs.google.com/forms/d/e/1FAIpQLSeqQX4VtEoGxa4IlEi4-cpn46mtkhOdogR4FTxNwuq8cXy2HA/</p>

כולם מדברים על דיפסיק, המודל הסיני, החדש, הזול והאופן סורס שמביס את צ׳אט ג׳י פי טי ומביך את OpenAIבפרק זה נדבר על ארבעת החידושים הטכנולוגיים מהמאמר: GRPO, KL-divergence approximation, multi token prediction והקוואנטיזציה.ואיך לא, גם קצת השערות של מייק ארליכסון ושל אורי גורן על מה באמת קורה מתחת למכסה המנוע.

<p>בפרק זה מצטרף אלינו פרופ' אופיר לינדנבאום מאוניברסיטת בר-אילן לשיחה על השימוש בלמידת עומק לגילוי מדעי. נדון באתגרים הייחודיים של נתונים טבלאיים, היתרונות של רשתות נוירונים מול שיטות מסורתיות, ויישומים מעשיים בתחומים כמו ביולוגיה ורפואה.</p><p><a href="https://arxiv.org/pdf/2309.09968" rel="ugc noopener noreferrer" target="_blank">המאמר שהזכרנו בפרק</a></p><p><a href="https://ofirlin.wixsite.com/ofirlindenbaum" rel="ugc noopener noreferrer" target="_blank">האתר של אופיר</a></p><p><a href="https://www.linkedin.com/in/ofir-lindenbaum-47000b15a/?originalSubdomain=il" rel="ugc noopener noreferrer" target="_blank">לינקדאין של אופיר</a></p>

<p>בפרק זה, אירחנו את דן עופר, מדען נתונים בכיר ב-Medtronic</p><p>ודוקטורנט באוניברסיטה העברית, נדבר על ניסיונו בתחרויות Kaggle ובתחום מדעי הנתונים. נדון גם בתרומתה של Kaggle לפיתוח יכולות מעשיות, באתגרים שבין התחרויות לבין המציאות המקצועית, ובתובנות שנרכשו מתחרות ProteinBERT לאנליזת חלבונים באמצעות מודלים מבוססי שפה.</p><p><a href="https://github.com/ddofer" rel="ugc noopener noreferrer" target="_blank">גיטהאב של דן</a></p><p><a href="https://www.linkedin.com/in/danofer/" rel="ugc noopener noreferrer" target="_blank">לינקדאין של דן</a></p><p> </p>

<p>פרק שני בסדרת ״מושג בקצרה עם מייק״ בה נצלול לעומקם של מושגים מעולמות הML וAI. בכל פרק נתמקד במושג אחד מרכזי – נסביר אותו בפשטות, נדון במשמעויותיו המעשיות, ונבחן את השפעתו על התחום והתעשייה. </p>

<p>בעקבות הפרק <a href="https://open.spotify.com/episode/612WWap3lllSRHdw84EfM3?si=z459Y0qaQzqH5KarXTqDfw" rel="ugc noopener noreferrer" target="_blank">שיפור וודאות במודלים: הצצה לעולם של ניבוי קונפורמי</a> החלטנו  הפעם לצלול עמוק פנימה. בפרק הזה, אנחנו צוללים לעומק עולם הניבוי הקונפורמי. יחד עם חילף חסון, נדון כיצד ניתן ליישם ניבוי קונפורמי בבעיות קלאסיפיקציה, מה היתרונות, ואיך זה לסייע בקבלת החלטות מדויקות יותר בעולם הנתונים. פרק עשיר בתובנות לכל חובבי ה-AI והדאטה סיינס</p><p> </p><p><a href="https://www.hilafhasson.com/" rel="ugc noopener noreferrer" target="_blank">האתר של חילף</a></p><p><a href="https://arxiv.org/abs/1905.03222" rel="ugc noopener noreferrer" target="_blank">Conformalized Quantile Regression</a></p><p><a href="https://arxiv.org/abs/2307.01928" rel="ugc noopener noreferrer" target="_blank">Robots That Ask For Help: Uncertainty Alignment for Large Language Model Planners</a></p>

<p>היום בפרק נדבר עם סרג' סמורדינסקי, ראש תחום NLP ומחקר ב-Loris AI, לשיחה על חלופות להנדסת פרומפטים וכלי DSPy.</p><p>סרג' ישתף על האתגרים בעבודה עם מודלים לשוניים גדולים (LLMs)</p><p>וכיצד DSPy מאפשר יצירת פרומפטים דינמיים ואופטימליים.</p><p>נציע מבט חדשני על עתיד ה-NLP ושיטות עבודה מתקדמות בתעשייה.</p><p> </p><p><a href="https://www.linkedin.com/in/serjsmor/" rel="ugc noopener noreferrer" target="_blank">לינקדאין של סרג׳</a></p><p><a href="https://towardsai.net/p/artificial-intelligence/dspy-machine-learning-attitude-towards-llm-prompting" rel="ugc noopener noreferrer" target="_blank">DSPy: Machine Learning Attitude Towards LLM Prompting</a></p><p><a href="https://serj-smor.medium.com/" rel="ugc noopener noreferrer" target="_blank">מאמרים של סרג׳ במדיום</a></p>

<p>ברוכים הבאים לפרק סיכום שנת 2024! הפעם שוחחנו עם איתן צימרמן, מוביל צוות הדאטא סייאנס ב-ARGMAX</p><p>סיכמנו את שנת 2024 ועל המגמות, האתגרים וטרנדים שנתקלנו בהם לאורך השנה</p><p>בנוסף, שיתפנו את התחזיות שלנו לשנת 2025 – אילו טרנדים חדשים צפויים לצבור תאוצה? אילו בעיות טכנולוגיות נצטרך לפתור?</p><p><br>מה אתם צופים ששנת 2025 תביא איתה בעולמות הML?</p><p> </p><p><a href="https://www.linkedin.com/in/eitan-zimmerman-241648155" target="_blank" rel="ugc noopener noreferrer">לינקדאין של איתן</a></p>

<p>היום בפרק נצלול לעומק עולמות האקדמיה בתחום הNLP </p><p>אבי ואמיר, חוקרים ומומחים בעולמות ה-NLP, משתפים במסלולי הקריירה שלהם, ההבדלים בין מחקר באקדמיה לעבודה בתעשייה, וכיצד ניתן למנף דוקטורט לקריירה מצליחה. נדון גם בשאלה מה הופך מחקר אקדמי למעניין, אילו כישורים ניתן לפתח בתהליך הדוקטורט, ומהם ההבדלים בין מחקר לתעשייה בעידן של LLMs</p><p><a href="https://aviclu.github.io/" rel="ugc noopener noreferrer" target="_blank">האתר של אבי</a></p><p><a href="https://www.linkedin.com/in/amir-david-nissan-cohen-a6a7b58b/?originalSubdomain=il" rel="ugc noopener noreferrer" target="_blank">לינקדאין של אמיר</a></p>

<p>בפרק הבא נחקור יחד עם הדר שרביט את השילוב בין פיזיקה ללמידת מכונה בחיזוי סדרות זמן. נדון בהבדלים בין חיזוי לניבוי בזמן אמת, באתגרים תעשייתיים, ובדרכים שבהן מודלים פיזיקליים ונתוני חיישנים משתלבים כדי ליצור פתרונות מתקדמים.</p><p> </p><p><a href="https://www.linkedin.com/in/hadar-sharvit/" rel="ugc noopener noreferrer" target="_blank">לינקדאין של הדר</a></p><p><a href="https://www.nixtla.io/open-source" rel="ugc noopener noreferrer" target="_blank">Nixtla</a></p><p><a href="https://medium.com/@hadarsharvit" rel="ugc noopener noreferrer" target="_blank">הבלוג של הדר</a></p>

<p>בפרק זה נדבר עם לירון יצחקי אלרהנד באתגרים הטכניים ביצירת וידאו באמצעות בינה מלאכותית. נדון בניהול זיכרון, שמירה על קוהרנטיות בין פריימים, והקשרים בין מודלי שפה ליצירת וידאו, ונציג גם פתרונות חדשניים להתמודדות עם תנועות מורכבות ושיפור עקביות ויזואלית</p>

<p>פרק שני בסדרת ״מושג בקצרה עם מייק״ בה נצלול לעומקם של מושגים מעולמות הML וAI. בכל פרק נתמקד במושג אחד מרכזי – נסביר אותו בפשטות, נדון במשמעויותיו המעשיות, ונבחן את השפעתו על התחום והתעשייה. </p>

<p>בפרק זה נשוחח עם בן בורן, CTO של SwarmOne, על האתגרים בהכשרת מודלים בבינה מלאכותית.<br />בן יסביר על עבודה עם GPU, שמירה על אבטחת מידע, וסקלת מודלים גדולים. הם ונדון גם בהשפעת LLM ובדרכים לייעל את תהליכי ההכשרה.</p><p><a href="https://swarmone.ai/" rel="ugc noopener noreferrer" target="_blank">SwarmOne</a></p><p><a href="https://www.linkedin.com/in/benboren/?originalSubdomain=il" rel="ugc noopener noreferrer" target="_blank">הלינקדאין של בן</a></p>

 פרק משותף עם הפודקאסט ״״המחוללים של דורון שדה ושקד זיכלינסקי<br /><p>והפעם, נדון בכל מה שקשור ל-RAG,</p><br /><p>והאם אכן מכאן תגיע הישועה לפתרון בעיית ההזיות של מודלי שפה?</p><p> </p><p><a href="https://open.spotify.com/show/6tdxOe9J5qjykTLRvB6blL" rel="ugc noopener noreferrer" target="_blank">״המחוללים״</a></p><p><a href="https://doronsadeh.me/" rel="ugc noopener noreferrer" target="_blank">האתר של דורון</a></p><p><a href="https://www.linkedin.com/mwlite/profile/me?trk=p_mwlite_feed-secondary_nav" rel="ugc noopener noreferrer" target="_blank">לינקדאין של שקד</a></p>

<p>בפרק הבא נדבר עם עמית מנדלבאום על התפתחות סוכנים אוטונומיים תוך שימוש במודלים מתקדמים של ראיית מחשב ו-LLMs. נתייחס לאתגרים בשילוב יכולות היסק ושיקול דעת, ולבעיות שהיו בפרויקטים כמו AutoGPT. נציג את הצלחתה של חברת Anthropic בהבנה של פעולות ממסכי מחשב ונסביר כיצד טכנולוגיות אלו משפרות את ההתמודדות עם פעולות ממוחשבות בצורה קרובה להתנהגות אנושית.</p><p> </p><p><a href="https://medium.com/@luke.birdeau/reverse-engineering-chatgpt-o1-5cf3b61c6eee" rel="ugc noopener noreferrer" target="_blank">https://medium.com/@luke.birdeau/reverse-engineering-chatgpt-o1-5cf3b61c6eee</a></p><p><a href="https://agents.cs.princeton.edu/" rel="ugc noopener noreferrer" target="_blank">AI Agents That Matter</a></p><p><a href="https://www.multion.ai/blog/introducing-agent-q-research-breakthrough-for-the-next-generation-of-ai-agents-with-planning-and-self-healing-capabilities" rel="ugc noopener noreferrer" target="_blank">https://www.multion.ai/blog/introducing-agent-q-research-breakthrough-for-the-next-generation-of-ai-agents-with-planning-and-self-healing-capabilities</a></p>

<p>פרק ראשון בסדרת ״מושג בקצרה עם מייק״ בה נצלול לעומקם של מושגים מעולמות הML וAI. בכל פרק נתמקד במושג אחד מרכזי – נסביר אותו בפשטות, נדון במשמעויותיו המעשיות, ונבחן את השפעתו על התחום והתעשייה. </p>

<p>בפרק הבא נדבר על העולם המורכב של זיהוי טקסט שנוצר על ידי בינה מלאכותית. נסקור את השימושים הנפוצים ב-ChatGPT, מהכתיבה ועד ליישומים אפורים כמו העתקות ובוטים. יחד עם אביב קרן, נדון בשיטות לזיהוי טקסט מג׳ונרט, השפעות על האקדמיה, שימושים בבינה מלאכותית לאימון מודלים, ונדבר גם על האתגרים האתיים והטכנולוגיים שמלווים את התחום.</p><p><a href="https://www.semanticscholar.org/" rel="ugc noopener noreferrer" target="_blank">Semantic Scholar</a></p><p><a href="https://www.semanticscholar.org/paper/A-Survey-on-LLM-generated-Text-Detection%3A-Methods%2C-Wu-Yang/a09d3686285f609b60b18b5935da64b29a5cce0f" rel="ugc noopener noreferrer" target="_blank">A Survey on LLM-generated Text Detection: Necessity, Methods, and Future Directions</a></p><p> </p>

<p>היום בפרק נעסוק בהבנת למידה ניגודית ובחקר ההתפתחות שלה בשנים האחרונות. נדבר על עקרונות הבסיסיים של למידת קונטרסט, כמו חיפוש דימויים דומים (חיוביים) ודימויים שונים (שליליים), על כך שלפעמים קשה להגדיר את הדימויים השונים בצורה חד משמעית, והצורך בהגדלת כמויות הדאטה כדי להשיג תוצאות טובות יותר. נזכיר את השיטות השונות שהתפתחו, כגון SimCLR ו-Moco, ונסביר את החשיבות של טרנספורמציות והתאמות בתמונות כדי ללמוד את הקשרים האמיתיים בין הדימויים. נתאר גם שיטות מתקדמות יותר כמו "למידת קונטרסט אקוויבריאנטית" ו-"Diff-CSE" שמתמודדות עם אתגרים של אוגמנטציה (הגברת מידע) בתמונות ובטקסטים.</p><p> </p><p><a href="https://open.spotify.com/episode/1vv2umceKdUvd1po2qiOuT" rel="ugc noopener noreferrer" target="_blank">הפרק הקודם עם מייק שהזכרנו</a></p><p><a href="https://open.spotify.com/episode/4hPftSXjbXGc0tL9rpe84w" rel="ugc noopener noreferrer" target="_blank">פרק קודם על למידה ניגודית</a></p>

<p>היום בפרק נדבר עם גל פרץ, מהפודקאסט "LangTalks" ומומחה בתחום הבינה המלאכותית. נשוחח על נושאים כמו התפתחות השימוש במודלים של בינה מלאכותית, תפקידם של כלי No-Code בעולם הטכנולוגי, ואיך בינה מלאכותית משפיעה על הגישה ההנדסית והמחקרית של פיתוח מערכות היום. נבחנן גם את האתגרים וההזדמנויות שהתחום מציב עבור אנשי מוצר, מהנדסים וחוקרים, ועל חשיבותם של כלי Prompt Engineering ככלי שימושי בעבודה עם מודלים מתקדמים.</p><p> </p><p><a href="https://openai.com/index/introducing-canvas/" rel="ugc noopener noreferrer" target="_blank">GPT Canvas</a></p><p><a href="https://github.com/features/copilot" rel="ugc noopener noreferrer" target="_blank">GitHub Copilot</a></p><p><a href="https://www.cursor.com/" rel="ugc noopener noreferrer" target="_blank">Cursor</a></p><p><a href="https://www.langflow.org/" rel="ugc noopener noreferrer" target="_blank">Langflow</a></p><p><a href="https://www.voiceflow.com/" rel="ugc noopener noreferrer" target="_blank">Voiceflow</a></p><p><a href="https://www.linkedin.com/in/gal-peretz/?originalSubdomain=il" rel="ugc noopener noreferrer" target="_blank">לינקדאין של גל</a></p><p><a href="https://open.spotify.com/show/2Yqo7i3psncgNKznDJMvEB" rel="ugc noopener noreferrer" target="_blank">LangTalks Podcast</a>ֿֿ</p>

<p>בפרק זה דיברנו  על מאמר פורץ דרך בתחום הרובוטיקה: Diffusion Policy: Visuomotor Policy Learning via Action Diffusion</p><p>המאמר טוען לשיפור של 46.9% במשימות מוטוריות של רובוטים.</p><p>הם מראים תוצאות על סימולציות ועל רובוטים פיסיים. פעולות כמו מזיגה, עירבוב, הנחת ספל והסביבה המפורסמת push-T.</p><p>בגדול הם לקחו את מה שכבר סקרנו בעבר stable diffusion לעולם הרובוטיקה, כאשר כאן נכנסת סדרת תמונות (המתקבלות ממצלמת הרובוט) ויש להחזיר סדרת פעולות מוטוריות לרובוט.</p><p>וגם כאן יש איטרציות של denoising אבל לא מתמונות אלא מסדרת פעולות מוטוריות.</p><p>האם זו המהפיכה הבאה ?</p><p>מוזמנים להגיב בדעתכם…</p><p> </p><p>קישורים:</p><p><a href="https://arxiv.org/pdf/2303.04137v5" rel="ugc noopener noreferrer" target="_blank">https://arxiv.org/pdf/2303.04137v5</a></p><p><a href="https://diffusion-policy.cs.columbia.edu/" rel="ugc noopener noreferrer" target="_blank">https://diffusion-policy.cs.columbia.edu/</a></p><p><a href="https://mobile-aloha.github.io/" rel="ugc noopener noreferrer" target="_blank">https://mobile-aloha.github.io/</a></p><p><a href="https://wuphilipp.github.io/gello_site/" rel="ugc noopener noreferrer" target="_blank">https://wuphilipp.github.io/gello_site/</a></p><p><a href="https://umi-gripper.github.io/" rel="ugc noopener noreferrer" target="_blank">https://umi-gripper.github.io/</a></p><p><a href="https://dobb-e.com/" rel="ugc noopener noreferrer" target="_blank">https://dobb-e.com/</a></p><p><a href="https://open.spotify.com/episode/3Q10j8X1oWklIqWYSn73hc?si=AJ_XBMiiTzmgLfNcjoqaPA" rel="ugc noopener noreferrer" target="_blank">הפרק שמייק התארח בו</a></p><p><a href="https://yang-song.net/" rel="ugc noopener noreferrer" target="_blank">הבלוג של יאנג סונג</a></p>

<p>אחרת הטכניקות הקלאסיות (משנות ה80) שזוכה לאחרונה לפופולאריות מחודשת היא Conformal Prediction.</p><p>ברוב משימות הניבוי, לא מספיק לחזות רק מה התוצאה הכי סבירה - אלא מה הן מגוון האפשרויות, ומה הסבירות.</p><p>ניקח למשל רופא שצריך לאבחן מטופל על סמך הסימפטומים, תוצאת הדיאגנוזה שלו תגרור את הטיפול המתאים. לכל אבחנה מתוך סט האבחנות יש סיכוי, וייתכן שיידרשו בדיקות נוספות כדי לאסוף עוד נתונים.</p><p>ניבוי קונפורמי מנסה לקשור בין רמת הביטחון החזויה, לגודל הקבוצה החזויה.</p><p>אורי יסביר כיצד שיטה זו מספקת מסגרת מתמטית שמאפשרת לבצע ניבויים מדויקים יותר עבור מודלים של למידת מכונה, תוך התאמת רמת הוודאות של הניבוי בהתאם לקושי המשימה.<br />נספר על שלושת שלבי הניבוי, שמתאימים לכל מודל קלאסיפיקציה, ונדבר על ספרית MAPIE שהנגישה את המודל לקהילת הפייתון.</p>

<p>בפרק הבא נדבר על הגרסה החדשה</p><p>GPT-4o1,</p><p>שמבטיחה יכולות מתקדמות של הסקת מסקנות. מייק יסביר כיצד המודל מנסה להתמודד עם בעיות מורכבות שדורשות יכולת לוגית מרובה, ומעלה את השאלה האם המודל באמת מצליח להתמודד עם משימות הסקה מורכבות או שמא הוא "מגזים" בהערכותיו. נבדוק גם את ההבדלים בין גרסאות קודמות, כמו GPT-3 ו-GPT-4, ונבחן את האתגרים וההזדמנויות שהגרסה החדשה מביאה. </p><p>נדבר על איך אנחנו כבני חושבים ולמה הגרסה החדשה אמנם בכיוון הנכון אבל עוד רחוקה מלחשוב כמונו.</p>

<p>בפרק הבא, נצלול לנושא המורכב של <em>מכניסטית אינטרפרטביליות</em> (Mechanistic Interpretability) במודלים של שפה, וננסה לפשט את הדרך בה ניתן להבין מה מתרחש בתוך מודלים אלה. נסביר כיצד מודלים בשימוש רחב כמו טרנספורמרים ומבנים מתמטיים אחרים מנסים לפענח את מנגנוני השפה, אבל נדבר גם על הקושי להבין מה באמת קורה "מאחורי הקלעים" של רשתות נוירונים עמוקות. נבין את השיטות השונות לפרש את פעולת המודל תוך התמקדות בניתוח המכניסטי של שכבות ותהליכים פנימיים.</p><p> </p><p><a href="https://seantrott.substack.com/p/mechanistic-interpretability-for" rel="ugc noopener noreferrer" target="_blank">הבלוג ששווה שתכירו</a></p>

<p>בפרק הבא, נארח את ניר דיאמנט, יועץ בתחום הבינה המלאכותית הגנרטיבית (GenAI)</p><p>שיספר לנו על המסע המקצועי שלו והתפתחויות חדשניות בתחום. ניר מצטרף אלינו בעקבות תרומתו המשמעותית לשיטות</p><p>RAG (Retrieval-Augmented Generation)</p><p>כולל פיתוחים כמו GenAI Agents ו-Controlable RAG, שזכו להכרה רחבה</p><p>ואף פורסמו על ידי מנכ״ל LangChain, האריסון צ׳ייס, כתכנים הפופולריים ביותר שלהם. בפרק נדון בפתרונות לשיפור החיפושים והשליפות, סידור מתקדם של דאטא, התאמות מולטימודל, ו-RAG עם לולאות פידבק להתאמת המידע לסוגי שאילתות שונים.</p>

<p>בפרק הזה דניאל ארונוביץ', מדען נתונים ותיק, מספר על המסע האישי שלו בתעשיית הטכנולוגיה לאורך 15 שנים. ניגע בהבדלים הבולטים בין העבר להווה, בכלים שהשתמשו בעבר לעומת הכלים שמשתמשים בהם היום שמחברים את המדע ישר לפרודקשן.</p><p>דניאל מתאר את השינויים במיומנויות הנדרשות ממדעני נתונים, מיכולת ניתוח בלבד להכרח להבין תהליכי פיתוח וניהול גרסאות. נשוחח על האתגרים הטכניים, השינויים בפרקטיקות העבודה, וכיצד התפתח התחום מימי האלגוריתמים הקלאסיים ועד לתפקידי הדאטה המודרניים בעולם התוכנה.</p><p> </p><p> </p><p><a href="https://github.com/dataflint/spark" rel="ugc noopener noreferrer" target="_blank">Dataflint/Spark</a></p><p><a href="https://www.linkedin.com/in/daniel-aronovich/" rel="ugc noopener noreferrer" target="_blank">לינקדאין של דניאל</a></p>

החודש גוגל פרסמו את <a href="https://notebooklm.google.com/" rel="ugc noopener noreferrer" target="_blank">NotebookLM</a>, שירות AI שמייצר שיחת עומק מוקלטת בין שני דוברים לא אמיתיים.כדי לבדוק את העניין, העלנו תמלול של <a href="https://open.spotify.com/episode/1o8N3jlnfHXn07X9fqFUpy" rel="ugc noopener noreferrer" target="_blank">"רק לא RAG"</a> פרק הטיפים של אורי גורן מארגמקס על נסיונו עם ארכיטקטורת הRAG.והתוצאה, הפילה אותנו מהרגליים.<br />נשמח לשמוע מה דעתכם? האם אפשר למכור את המיקרופון והציוד הקלטה ביד2?

<p> </p><p>בפרק הזה, דוד שוקרון,</p><p>Head of DS &amp; AI</p><p>בביטוח ישיר, מספק הצצה לעולם מדעי הנתונים בתעשיית הביטוח. נשמע ממנו על ההבדלים בין אקטואריה ל-Data Science,</p><p>ועל איך משלבים DS במערכות ותיקות של חברות ביטוח</p><p>דוד יסביר על יישומי DS בתעשייה עתירת נתונים כמו ביטוח, בשימוש בכלים ומודלים שונים, כולל השאלה אם יש צורך בכלים ייחודיים או שניתן להסתפק במוצרי מדף קיימים. בנוסף, נבין איך מודלי שפה משפיעים על תעשיית הביטוח, ומה הכיוונים העתידיים שמעצבים את התחום בעקבות החידושים האחרונים.</p><p> </p><p>.</p>

<p>בפרק זה, אנחנו נשוחח עם אלעד נחמיאס</p><p>CTO של Bridgewise,</p><p>על השימוש במודלי שפה גדולים (LLMs) בתחום ההשקעות. אלעד יסביר לנו איך משלבים טכנולוגיות מתקדמות כדי לשפר  תהליכי הייעוץ והאנליזה, תוך התמודדות עם אתגרים כמו דיוק הנתונים, הטיות פוטנציאליות ושמירה על פרטיות המידע.</p><p>נשמע על האתגרים הטכניים והאתיים של יישום</p><p> LLMs, איך Bridgewise מוודאת שהפתרונות שלה נשארים שקופים ואחראיים, ומה החזון העתידי שלה לשימוש בטכנולוגיה זו בתעשיית ההשקעות.</p>

<p>בפרק הזה, נצלול יחד עם לירון יצחקי אלרהנד ל</p><p>Interleaving Retrieval with Chain of Thought (IRCoT) </p><p> שיטה לשיפור מערכות שאלה ותשובה על ידי הרחבה איטרטיבית של תהליך חשיבה ואחזור מידע רלוונטי. נדבר על טכניקות שונות של אחזור אדפטיבי, נשווה את יעילותן על סמך מורכבות השאלה, ונדגיש את החשיבות של בחירת הגישה הנכונה לתרחישים שונים</p><p> </p><p>המלצות של לירון למי שמועניין ללמוד עוד:</p><p><a href="https://arxiv.org/abs/2212.10509" rel="ugc noopener noreferrer" target="_blank">https://arxiv.org/abs/2212.10509</a></p><p><a href="https://github.com/StonyBrookNLP/ircot/tree/main" rel="ugc noopener noreferrer" target="_blank">https://github.com/StonyBrookNLP/ircot/tree/main</a></p><p><a href="https://colab.research.google.com/github/pathwaycom/pathway/blob/main/examples/notebooks/showcases/mistral_adaptive_rag_question_answering.ipynb" rel="ugc noopener noreferrer" target="_blank"> https://colab.research.google.com/github/pathwaycom/pathway/blob/main/examples/notebooks/showcases/mistral_adaptive_rag_question_answering.ipynb</a></p><p><a href="https://arxiv.org/abs/2403.14403" rel="ugc noopener noreferrer" target="_blank">https://arxiv.org/abs/2403.14403</a></p>

<p>לא רק היופי הוא בעיניי המתבונן, מסתבר שגם הדימיון הסמנטי</p><p>בפרק הזה ענבל תספר לנו איך התגלגלה מטוקיו ל</p><p> בגונג senior staff researcher </p><p>כשחושבים על אמבדינגז, הרבה פעמים חושבים על חיפוש וקטורי ו<br />RAG</p><p>נדבר על החשיבות של אמבדינג טוב דווקא בשלב הכרת הדאטא ובחירת דוגמאות מעניינות לאימון.</p><p>נסקור את ההיסטוריה של אמבדינג, ללא הקשר, עם הקשר, ועד<br />Task aware embedding<br />שהוא צעד ביניים למודל שפה מלא</p><p> </p><p><a href="https://www.linkedin.com/in/inbal-horev-51b55b4/?originalSubdomain=il" rel="ugc noopener noreferrer" target="_blank">לינקדאין של ענבל</a></p><p><a href="https://huggingface.co/intfloat/e5-mistral-7b-instruct" rel="ugc noopener noreferrer" target="_blank">E5</a></p><p><a href="https://huggingface.co/spaces/mteb/leaderboard" rel="ugc noopener noreferrer" target="_blank">MTEB</a></p><p> </p>

בפרק זה ריאיינו את אורי גוטליב ונטע בר על המעבר שלהם לעולם ה data science במסגרת ההכשרה שלהם ב YData.על הפער העצום בין התאוריה לעבודה מעשית ועל הפרויקט שעשו שהביא אותם לעבודה הנוכחית שלהם.<br /><p>קישורים:</p><ul><li><a href="https://www.linkedin.com/in/uri-gottlieb-phd-01aa231a8/" rel="ugc noopener noreferrer" target="_blank">אורי גוטליב</a></li><li><a href="https://www.linkedin.com/in/neta-bar-b1881748/?originalSubdomain=il" rel="ugc noopener noreferrer" target="_blank">נטע בר</a></li><li><a href="https://www.facebook.com/share/g/STm243cUdCeZNugT/" rel="ugc noopener noreferrer" target="_blank">wids il</a> facebook</li><li><a href="https://www.linkedin.com/company/wids-israel-community/posts/?feedView=all" rel="ugc noopener noreferrer" target="_blank">Wids-linkdin</a></li><li><a href="https://www.linkedin.com/company/baot-il/posts/" rel="ugc noopener noreferrer" target="_blank">קהילת באות</a></li></ul>

<p>אינטל העולמית נמצאת השבוע בכותרות בעקבות ההצהרה על הצמצומים, וזו הזדמנות מעולה להזכיר על הפעילות המדהימה של קבוצת הדאטא סיינס של אינטל ישראל.<br />החודש פורסם כי הקבוצה </p><p>AI Solutions Group</p><p> זכתה בפרס הארגון המצטיין העולמי של אינטל.</p><p>בפרק זה ד"ר אמיתי ערמון יספר לנו על התפקיד שלו בתור ה</p><p>Chief Data Scientist </p><p>של הקבוצה, מה היא עושה? מה האתגרים היחודיים שלהם? ואיך מתנהלת העבודה של 250 עובדים שבונים ביחד מוצרים מבוססי בינה מלאכותית? </p><p>נדבר על פרוייקטים לדוגמא, על ללמים ועל המאמר שכתב </p><p>Tabular Data: Deep Learning is Not All You Need</p><p>שהגיע השבוע לאלף ציטוטים.</p><p> </p><p><a href="https://arxiv.org/pdf/2106.03253" rel="ugc noopener noreferrer" target="_blank">Tabular Data: Deep Learning is Not All You Need</a></p><p><a href="https://www.linkedin.com/in/amitai-armon-6b9999/?originalSubdomain=il" rel="ugc noopener noreferrer" target="_blank">עמוד הלינקדאין של אמיתי</a></p>

קוד פתוח זה נושא מורכב, יש כמה סוגים של רשיונות כמו GPL, Apache, MIT וכו׳.העניינים מסתבכים עוד יותר כשמדברים על מודלים פתוחים, האם קוד המודל פתוח? אולי רק המאמר? אולי רק המשקולות פתוחות? ומה לגבי הדאטא?בפרק זה עופר חרמוני, יועץ בתחום הAI וחבר בLinux foundationיספר על הקריטריונים של הארגון למודלים פתוחים, ונמנה מספר מודלים כאלו.<br />עולם הAI מתקדם בקצב מסחרר, והמחוקק לא תמיד מצליח לעקוב - בשיחה עם עופר דיברנו על המירוץ וההשלכות החוקיות על שימוש במודלים פתוחים, והתוצרים שלהם.<br /><br /><br /><ol><li>LF AI &amp; Data website: <a href="https://lfaidata.foundation/" rel="ugc noopener noreferrer" target="_blank">https://lfaidata.foundation/</a></li><li>AI Open Source landscape: <a href="https://landscape.lfai.foundation/" rel="ugc noopener noreferrer" target="_blank">https://landscape.lfai.foundation/</a></li><li>Generative AI Commons website: <a href="https://genaicommons.org/" rel="ugc noopener noreferrer" target="_blank">https://genaicommons.org/</a></li><li>Generative AI Commons - Get Involved guide: <a href="https://docs.google.com/presentation/d/1Ie0NKJ4N5u3UINUdiwoA7pBYtaRrUdH0gEcMUo9M9Y0/edit?pli=1#slide=id.g2c0160abebd_0_72" rel="ugc noopener noreferrer" target="_blank">https://docs.google.com/presentation/d/1Ie0NKJ4N5u3UINUdiwoA7pBYtaRrUdH0gEcMUo9M9Y0/edit?pli=1#slide=id.g2c0160abebd_0_72</a></li><li>OSI - open source AI initiative - latest definition: <a href="https://opensource.org/deepdive/drafts/the-open-source-ai-definition-draft-v-0-0-8" rel="ugc noopener noreferrer" target="_blank">https://opensource.org/deepdive/drafts/the-open-source-ai-definition-draft-v-0-0-8</a></li><li>OSI - Open Source AI initiative discussion forum: <a href="https://discuss.opensource.org/" rel="ugc noopener noreferrer" target="_blank">https://discuss.opensource.org/</a></li><li>Connect with me on LinkedIn: <a href="https://www.linkedin.com/in/ofer-hermoni/" rel="ugc noopener noreferrer" target="_blank">https://www.linkedin.com/in/ofer-hermoni/</a></li></ol> 

גיא אדלר מחברת אקסיליון יחלוק איתנו מנסיונו בפיתוח ושימוש במערכות סימולציה לעולם התחבורה.אקסיליון מפתחת מוצר לעיריות לצורך אופטימיזציה של רמזורים ותנועה, כדי שכולנו נבלה כמה שפחות זמן בפקקים.<br />נדבר על האתגרים בתחזית של אירועים נדירים כגון מזג אוויר, הופעות, ושיבושי תנועה.ועל החשיבות של עבודה משותפת עם מומחי תוכן ואינטגרציה עם מערכות אמיתיות של עיריות כבר בתהליך הסימולציה.סימולציה היא דבר יקר, וגיא חולק איתנו מאתגריו בפיתוח מערכות יעילות בc++ כדי שהמערכת תוכל לרוץ בזמנים סבירים.

פרק פיצוץ על איך סימולציות יכולות לעזור לנו לחזות תגובה של חומרי נפץ במתחים שונים.בפרק זה רותם תספר לנו על המחקר האקדמי שלה בשיתוף עם רפאל, ועל איך סימולציות עזרו לחסוך המון כסף וזמן על ניסוי שטח.נדבר על ההבדלים בין סימולציות סדרתיות, ובין סימולציות אגרגטיביות.ומדוע סימולציות הם הכלי הנכון לבדוק את המודל שלנו בכל מיני מקרי קצה נדירים, או שטרם קרו. <a href="https://www.linkedin.com/in/rotem-rozenblum-3829097b/" rel="ugc noopener noreferrer" target="_blank">קישור ללינקדין של רותם</a>

סימולציות היו פעם כלי הניבוי המרכזי, והיום הוחלפו על ידי מודלי למידת מכונה.האם מדובר בכלי מיושן ולא רלוונטי, או באומנות עתיקה שנשכחה.בפרק זה נדבר על המוטיבציות לסימולציות אל מול הרצת ניסויים על דאטא אמיתי, ונדבר על החוזקות והחולשות מול מודלי למידת מכונה. <a href="https://dsrc.haifa.ac.il/?page_id=10436&amp;fbclid=IwZXh0bgNhZW0CMTAAAR329Ti-O_3e9DK9-X8DEnNciSKfWsA0xf7liAYgo0rgETAdCfes7e03bN0_aem_F4GhsUkDh7wEezaYSEb_QQ" rel="ugc noopener noreferrer" target="_blank">קורס חינמי של אוניברסיטת חיפה על סימולציות</a>

מערכות המלצה נתפסות לרוב כבעיית רגרסיה או קלאסיפיקציה, בפרק זה פרופסור עומר בן פורת מהטכניון ואורי ינהלו דיון טכני על האתגרים במידול סטטי כזה.נדבר על יצירת העדפות, ועל האחריות המשפטית של מערכת ההמלצה.מערכת המלצה אמורה למדל אנשים, ואנשים הם לא יצור רציונאלי או עקבי - כיצד מערכת ההמלצה אמורה להתמודד עם זה?<br />ונדבר על החשיבות של סימולציה למדידה ואימון מערכות המלצה, גם כאשר יש הרבה דאטא. קישורים:<ul><li><a href="https://www.cs.cornell.edu/people/tj/publications/yue_etal_09a.pdf" rel="ugc noopener noreferrer" target="_blank">Duelling bandits</a></li><li><a href="https://arxiv.org/pdf/2103.08057" rel="ugc noopener noreferrer" target="_blank">Recsim</a></li><li><a href="https://arxiv.org/pdf/2204.11966" rel="ugc noopener noreferrer" target="_blank">טווח ארוך לעומת טווח קצר במערכות המלצה</a></li></ul>

למודלי שפה (גדולים) יש שלושה תת-מודלים: הטוקנייזר, הטרנספורמר, ואלגוריתם הפענוח.<br />אלגוריתם הפיענוח בדרך כלל אינו נלמד, אלא הוא איזה שהיא יוריסטיקה סדרתית של חיפוש בעץ על סמך ההסתברויות של הטרנספורמר.אבל מי מבטיח שהיוריסטיקה הזו היא הדבר האידיאלי לעשות בהנתן הפלט של הטרנספורמר.Consistency LLMs מנסים לקשור את שתי הקצוות, ולהתאים את ההטרנספורמר לאלגוריתם הפענוח.מרוויחים מזה מודלים יעילות יותר, ואפשרות למיקבול.מייק יספר לנו איך הקסם הזה קורה

ערכים חסרים הם נחלתו של כל מי שעוסק בעיבוד מידע טבלאי, הפעם נתמקד בהשלמת ערכים רציפים עם Predictive mean matching.אחת השיטות הנפוצות MICE, לא היתה זמינה עד לאחרונה למשתמש פייתון - וכעת נמצאת במודול הexperimental של scikit learn.<br />נעשה סקירה קצרה על מתי כדאי להשלים ערכים חסרים ומתי לא, ונדבר על השיטות הנפוצות להשלמה.

הרבה מאיתנו שמעו בכותרות על KAN פה, KAN שם - ולא היה ברור מה המהומה.<br />Kolmogorov Arnold network<br />זו ארכיטקטורה שמאיימת לשנות את איך שאנחנו חושבים על רשתות נוירונים, החל במבנה של נוירון ועד יכולת ההסבר.בנוסף, לרשתות כאן יש פי עשר פחות פרמטרים והן דלילות יותר - נשמע מדהים.אבל, הפוטנציאל הוא גדול אבל המציאות היא בפרטים הקטנים - אותם נכסה בפרק הזה

מי לא שמע על RAG, נראה שכולם מדברים, מממשים ומאפטמים ראגים לכל שימוש.בפרק זה אורי שוטח את משנתו על ראגים, וטוען שהם בשימוש יתר בתעשייה (יש יגידו הייפ), ואלו הן הסיבות1. אתם אחראיים (משפטית) על הפלט שלהם - אם אין בן אדם בלופ - יש בעיה2. שאילתות סמנטיות לא מתאימות להמון מקרים, חיפוש וקטורי הוא לא התשובה לretrieval3. זה נראה כאילו חיפוש וקטורי נועד לחסוך עלויות, אבל האם באמת LLM עדיין כ״כ יקרים שצריך אותו?4. האם זו בעיית איחזור או בעית שאלה-תשובה? בהרבה מהמקרים פשוט לא צריך LLM בקצה5. הסיבה ההנדסית - בראג יש שני מודלים שונים, שלא בטוח מדברים זה עם זה, צריך לוודא שיש תרומה הדדית

מירב גרימברג עוסקת למחייתה בפיתוח מנוע החיפוש הוקטורי של רדיס, הגיעה לספר לנו תובנות מבפנים.לאחרונה רואים שיותר ויותר דאטאבייסים ״מסורתיים״ מוסיפים פונקציונאליות של חיפוש וקטורי, רדיס הוא אחד מהם.<br />רדיס, הוא היום שירות ברירת המחדל לחיפוש key-value מהיר בזמן אמת. וגם מנוע חיפוש וקטורי המממש את אלגוריתם הhnsw לחיפוש וקטורי מקורב.<br />מירב תספר לנו על האילוצים מעולם התוכנה כדי לגרום למנוע חיפוש וקטורי לעבוד ממש מהר, יחד עם יכולות פילטור ועדכון.<br />על הטריידוף בין זכרון, מחיר ומהירות - וכמובן על שימושים בretrieval augmented generation יחד עם מודלי שפה.

עכשיו כשהעולם רועש סביב מודלי שפה גדולים וחזקים שאינם טרנספורמרים (מאמבה, rwkv) - הגיע הזמן להיזכר מה הוא הטרנספורמר ומה היו המוטיבציות ליצירתו.<br />פרק זה הינו שידור חוזר של פרק מ2020, האזנה מרתקת לאזניים של 2024.

בוריס גורליק, יועץ דאטא מנוסה עם רקע ניכר בדאטא טבלאי, ויזואליזציה וסדרות זמן - ידבר איתנו על דווקא על נושא אחר: Soft skills.מדעני נתונים, הם לא רק אנשים טכניים שיודעים להריץ פייתון ולאפטם מודלים - הכוונה ב״כישורים רכים״ זה לכל יכולת התקשורת בארגון ובצוות, ובעבודה במשותף כחלק מאתגר גדול יותר.<br />נדבר על אתגרים נפוצים בחיי הDS ועל איך נכון לבנות מצגת בצורה לא תשעמם את המאזינים.בוריס הוא גם המנחה של הפודקאסט הפופולארי ״<a href="https://he.gorelik.net/hashavua/" rel="ugc noopener noreferrer" target="_blank">השבוע במזרח התיכון</a>״, שם תוכלו להיווכח איך בוריס מיישם את התאוריה בפועל.<a href="https://www.principiae.be/X0100.php" rel="ugc noopener noreferrer" target="_blank">קישור לספר</a> שבוריס הזכיר

בפרק זה אירחנו את מיכאל ארליכסון לדבר על self supervised learning.<br />דיברנו על בעיית דלילות הסיגנל, ועלות התיוג.<br />למידה self supervised מתמקדת בלמידת היצוג הוקטורי על ידי משימות שלא דורשות תיוג.<br />לדוגמא, אם לקחנו תמונה ו הרעשנו אותה (או סיבוב, שיקוף, זום) נצפה שוקטור היצוג יהיה דומה.<br />דיברנו על טכניקות שונות ללמידת יצוגים, כגון רשתות סיאמיות, למידה ניגודית ואוגמנטציות.<br />וכמובן, האתגר הגדול ביותר של התחום - מציאת דוגמאות שליליות חזקות.

יש הרבה עיסוק בסכנות הכרוכות בהדלפה של פרטים מזהים בדאטאסטים או בתוך משקולות של מודלים מאומנים.<br />בפרק זה משה שנפלד, חוקר בתחום, יספר לנו כמה זה מורכב להפוך דאטאסט אנונימי ונדבר על כמה פדיחות שקרו בתחום.<br />נדבר על האתגרים של אימון מודלים בצורה פרטית, והאם מדובר בסוג חדש של רגולרזיציה.<br />נכסה אלגוריתמים כמו k-annonimity ונדבר על Differential privacy שהיא הסטנדרט היום בתחום.<br /><br />הרעיון המרכזי בפרטיות דיפרנציאלית הוא הכנסת רעש מבוקר, כזה שיפריע לזהות אינדיבידואלית אבל לא יפריע למודל להתאמן.<br />נדבר על שיטות כמו DP-SGD שמכניסים את הרעיון הזה לתוך צעדי הגרדיאנט באימון רשתות.<br /><br />קישורים:<ul><li><a href="https://medium.com/@EmiLabsTech/data-privacy-the-netflix-prize-competition-84330d01cc34" rel="ugc noopener noreferrer" target="_blank">The netflix prize</a></li><li><a href="https://twitter.com/lbjfancamcoop/status/1779262898314903675" rel="ugc noopener noreferrer" target="_blank">Very recent example from the pentagon</a></li><li><a href="https://www.crikey.com.au/2024/01/17/google-maps-tracking-business-locations/" rel="ugc noopener noreferrer" target="_blank">How one man’s pay-to-use toilet gag revealed Google Maps can be used to track people</a></li><li><a href="https://www.chiefhealthcareexecutive.com/view/latanya-sweeney-fights-for-data-privacy-one-state-at-a-time" rel="ugc noopener noreferrer" target="_blank">Sweeney’s attack</a></li><li> </li></ul>

בפרק זה חן מרגלית סיפר על פיתוח<br />SEC by LSportsהבוט שמתמצת ועונה על שאלות על משחקי ספורט. הבעיה העיקרית היא שרוב מודלי השפה אומנו על ויקיפדיה, כתבות ואתרי שאלות ותשובות - ולא שפה השגורה במגרשי הכדורגל.<br />חן יספר על התהליך של יצירת הדאטא, פיינטון וכמובן שרשרת המודלים ליצירת התחזיות שקדמה למענה של הצ׳טבוט.

<p>בפרק זה אמיר שחר יספר על שיטה חדשנית שפרסם לשילוב מודלי שפה יחד עם אלגוריתמים.</p><p>לפני 20 שנים, כנראה שאם הייתם אומרים AI הייתם מתכוונים לאלגוריתמי חיפוש בעצים.</p><p>אלגוריתמי חיפוש כמו</p><p>A Star</p><p>מנצחים מסטרים בשח מט, ואפילו עוזרים לנו להתמצא בעיר עם Waze.</p><p>למעשה, אם מסתכלים עמוק בתוך LLM מגלים גם בו שימושים באלגוריתמי חיפוש.</p><p>אמיר יספר מנסיונו איך אפשר לשפר אלגוריתמים, ובפרט אלגוריתמי חיפוש, על ידי שילובם עם מודלי שפה גדולים.</p>

נהוג להסתכל על מערכת המלצה כאל בעיית אופטימיזציה, איזה סרטון לנגן כך שיהיו הכי הרבה צפיות בהתחשב בהיסטוריית הלקוח.אבל אם לוקחים צעד אחורה, מגלים שאנחנו בשוק מסחר תלת צדדי. לסרטונים יש יוצרים, ולפלטפורמה יש בעלי מניות, וכמובן - אנחנו הצופים.<br />כמובן שאם הפלטפורמה לא תהיה רווחית, תהיה בעיה בטווח המיידי - אבל גם אם יוצרי התוכן לא יזכו לחשיפה הם ינטשו את הפלטפורמה ותהיה בעיה בטווח הרחוק. דרך אחרת להסתכל על מערכת המלצה, היא בעיניים של תורת המשחקים.בפרק עומר סיפר על סוגים של שיווי משקל, ועל תמריצי השחקנים.ודיברנו על הסוגיה של יצירת העדפות, ויציבות המערכת כשיש הרבה נישות 

רשתות נוירונים על שלל סוגיהן זוכות להרבה אטנשן - אבל בפועל, הרבה פרויקטים לא זקוקים לרשתות נוירונים.מודליים עציים הם בדרך כלל הפתרון הפשוט והיעיל לדאטא טבלאי.בפרק קצרצר זה, נסקור את עצי החלטה, תהליך אימונם ובעיית הOverfit.נדבר על שתי ההרחבות הנפוצות:Random Forest &amp; Gradient Boosted Trees<br />והיתרונות שיש בשימוש במודלים ותיקים בסביבת פרודקשן

נדירים המקרים בהם שני תחומים כ״כ רחוקים במדעי המחשב נפגשים, ועוד זוכים להגיע לפרודקשן.<br />אימות פורמלי הוא תחום העוסק בוידוא מתמטי שתוכנית אמורה לרוץ בלי תקלות, והוכחה שהתוכנית מקיימת תכונות מסוימות.<br />בדרך כלל רואים אימות פורמלי בתחומים כמו קומפילציה או לוגיקה, ולכן היה מרתק לשמוע איך שיטות תאורטיות כאלו מצאו את עצמן בישום אצל חברת אלביט המפתחת רשתות נוירונים.<br />בפרק זה איתי (מאלישרא) וגיא (אוניברסיטה העברית) יספרו על שיתוף הפעולה, והישום בשטח.

עולם מודלי השפה מושתת על ארכיטקטורת הטרנספורמר שמכילה בעיה מובנית בתוכה - סיבוכיות ריבועית בקלט, ולאחרונה אלטרנטיבות מעניינות לטרנספורמר הגיחו לחיינו.<br />פרק זה הינו פרק שני בסדרה, והוא סיכום מנהלים על עקרון הדואליות, מוטיבציה ותחזיות להמשך.<br />מייק ואני נדבר על איך דואליות משפיעה על אימון יעיל והוזלה של עלויות, על ארכיטקטורות חומרה והתאמתן לטרנספורמרים.

יש הרבה התרחשויות סביב ארכיטקטורות חדשות (שאינן טרנספורמר) שיכולות להיות המנוע מאחורי הLLM הבא.<br />פרק זה הינו פרק ראשון מתוך שניים, על Mamba ו State Space Models שנראים אלטרנטיבה מבטיחה.<br />נצלול טכנית למוטיבציה ולאלגוריתמים המתמטיים, ואיך פולינומי לג׳נדר קשורים לעניין.<br />הפרק טיפה טכני מהרגיל, בפרק הבא נעלה רמה ונסקור את ההשלכות ותחזיות לדעתנו.

פרק משותף עם דין פלבן מ<br /><a href="https://www.youtube.com/playlist?list=PLC4-OBA5bH3i35-xxNHefhNxmanCvWqxB" rel="ugc noopener noreferrer" target="_blank">The MLOps Podcast</a>על הנושא שמעסיק את עולם הפרסום היום.<br />ברוח חקיקה אירופאית ואמריקאית, נהיה קשה יותר ויותר מבחינה חוקית לעקוב אחרי התנהגות משתמשים עם קוקיז (עוגיות).לשמירה על הפרטיות יש גם צד שנוגע לנו, אנשי הדאטא בכל הקשור למדידת איכות אלגוריתמים ולמידה.<br />בפרק זה דין ייארח את אורי ונדון על מה אפשר לעשות.

מודלים מולטי-מודאלים הגיעו לקידמת הבמה לאחרונה עם מודלים כמו chatGPT, Whisper, Midjourney.נדבר על האתגרים בשילוש מודלים חזותיים, טקסטואלים וגרפיים - כאשר המימדים שונים, המימדים שונים, ואיך מרוויחים מהשילוב הזה.נדבר על cross modal learning - איך אפשר ללמד מודל אחד על סמך מודאליות של מודל אחר. 

ניהול אנשים זה אתגר, ניהול מחקר עם תוצר לא-וודאי - זה אתגר, וניהול ממשקים עם פרודקט,תוכנה והנהלה בכירה זה בכלל מורכב.<br />בפרק זה אירחנו את חן קרני, מנהלת מנוסה בתחום הדאטא לדבר על איך עושים את זה נכון, וללמד מה עבד עבורה.איך לפרק פרויקטים גדולים למשימות קטנות (בשיטת הסלאמי) שאפשר לתקשר, איך למדוד ולהגדיר יעדים (שגם אפשר לעמוד בהם), ומה הם השלבים בפרויקט חדש.

 טרנספורמרים הם ללא ספק המודל המועדף בעיבוד שפה - אבל האם גם בתמונות?אז... מסתבר שהתמונה לא כל כך ברורה בעיבוד תמונה.בפרק זה נדבר על היתרונות הגדולים של טרנספורמרים בתמונות - ועל הסיטואציות שבהן CNN מנצחות אותם. <p>קישורים</p><p><a href="https://arxiv.org/pdf/1706.03762.pdf" rel="ugc noopener noreferrer" target="_blank">Attention is All You Need</a></p><p><a href="https://openreview.net/pdf?id=YicbFdNTTy" rel="ugc noopener noreferrer" target="_blank">An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale</a></p><p><a href="https://arxiv.org/pdf/2005.12872.pdf" rel="ugc noopener noreferrer" target="_blank">End-to-End Object Detection with Transformers</a></p><p><a href="https://github.com/NielsRogge/Vision-Transformer-papers" rel="ugc noopener noreferrer" target="_blank">Vision-Transformer-papers</a></p><br /><p><a href="https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a" rel="ugc noopener noreferrer" target="_blank">https://medium.com/@monocosmo77/best-research-papers-on-vision-transformers-784e48a3593a</a></p><p><a href="https://paperswithcode.com/methods/category/vision-transformer" rel="ugc noopener noreferrer" target="_blank">https://paperswithcode.com/methods/category/vision-transformer</a></p>

לפני כשש שנים עומר חיון ואורי גורן התחילו הרפתקאה בעולם הLegal tech והקימו את BestPractix<br />בסט פרקטיקס התמקדה בשלב הטיוטות של החוזים, והיוותה כלי עזר לעורכי דין לזהות ״אנומליות״ בחוזים (שבדרך כלל די סטנדרטים), והצעה של אלטרנטיבות מקובלות יותר.בשנת 2020 בסט פרקטיקס נמכרה לLitera Systems האמריקאית, ועומר הועבר להמשך הפיתוח. הרבה השתנה בעולם הAI מאז, ולרשותנו היום כלים חזקים כמו ChatGPT שמקצרים את תהליך העבודה המשפטית.פרק זה הינו שיחה פתוחה בין אורי לעומר על האתגרים בעולם המשפט, והעתיד לאור היכולות החדשות בעולם הNLP.

דיברנו הפעם על פרויקט <a href="https://ai-junk.com/" rel="ugc noopener noreferrer" target="_blank">ai-junk</a> המאפשר לכל אחד ליצור רובוטים מגרוטאות וליצור ולאמן מודלי reinforcement learning שישלטו ברובוטים. ובכך ליצור עולם משחק מרובה רובוטים על הריצפה בסלון.דיברנו על מה זה RL, על הקשיים להפוך RL שעובד טוב בוירטואלי לעולם הפיסי, על כמה נחמד ללמוד על התחום דרך רובוטים :)הפרק הוקלט לפני המלחמה ששיבשה לנו הכל וארועים שתוכננו בוטלו. אם מעניין אתכם להצטרף לסדנה או האקטון הרשמו <a href="https://docs.google.com/forms/d/e/1FAIpQLSdo2Y9z-kNg6LTwWXzJcm5EP_DeDyd8oWCmsxICxYpacZ4Ohw/viewform" rel="ugc noopener noreferrer" target="_blank">כאן</a> ונעדכן אתכם.<p>קישורים</p><ul><li><p><a href="https://ai-junk.com/" rel="ugc noopener noreferrer" target="_blank">Ai-junk</a></p></li><li><p><a href="https://www.ai-blog.co.il/2020/09/02/%D7%90%D7%9C%D7%92%D7%95%D7%A8%D7%99%D7%AA%D7%9D-reinforce-vanilla-policy-gradients/" rel="ugc noopener noreferrer" target="_blank">כתבה למטיבי לכת בעברית על RL</a></p></li><li><p><a href="https://www.youtube.com/watch?v=qsY_TKe-gyg" rel="ugc noopener noreferrer" target="_blank">DeepMind is Using AI to Teach Robots to Play Soccer</a></p></li></ul>

<p>נתנאל, דאטא סיינטינסט ותיק שמוביל היום את המחקר בדאבל וריפיי ידבר איתנו על בעיה כואבת אך נפוצה.</p><p>גייסנו תקציבים, כוח אדם, ועם הרבה רצון ומוטיבציה ניגשנו לפרויקט חדש - פתחנו את מכסה המנוע, וגילינו לצערינו שאין מספיק נתונים- מה הלאה ?</p><p>נדבר על שלוש טקטיקות שאפשר לנקוט, בין אם זה תיוג עצמאי ורכישת דאטא, שימוש במודלים כגון</p><p>Label spreading, transfer learning, kde</p><p>או שימוש במודלים אנליטיים יותר, כגון שיטות בייסיאניות או מודלים פיסיקלים.</p><p> </p>

<p>יצא לנו הרבה לדבר על מודלי שפה גדולים לאחרונה, ועל השימושים שלהם.</p><p>למעט שימוש בצ׳אטבוט או כעזר לכתיבה, לרוב אנחנו רוצים לקבל את הפלט של המודל בפורמט כלשהו כמו</p><p>Json / Data Class</p><p>נדבר על שלושת השלבים ביצירת הפלט, הטוקנייזר, הטרנספורמר, והמפענח.</p><p>ונסביר איך אפשר להתערב במפענח כדי לאלץ את המודל כדי לקבל תשובות במבנה מסוים, להכריח את מודל לענות ״כן״ או ״לא״, לאלץ את התשובה להיות מספרית, מתוך רשימה סגורה וכדומה.<br />ספריות שימושיות:</p><p>JSONFormer - <a href="https://github.com/1rgs/jsonformer" rel="ugc noopener noreferrer" target="_blank">https://github.com/1rgs/jsonformer</a></p><p>OpenAI Function calls - <a href="https://openai.com/blog/function-calling-and-other-api-updates" rel="ugc noopener noreferrer" target="_blank">https://openai.com/blog/function-calling-and-other-api-updates</a></p><p> </p><p>O</p>

בפרק זה אירחנו את איתי ציטבר רש"צ מהיירו - לדבר על מודלי שפה בפרודקשן.<br />המודלי צ'אט כ"כ חזקים - האם בכלל נשאר מה לעשות חוץ מאשר לחבר את הAPI לאתר ?מצד שני, זה נראה כאילו כולם משתמשים בLLM, גם כאשר קיימים מודלים פשוטים יותר.נדבר על מה קורה כשהמלצת המודל מתנגשת עם נהלים רפואיים, מה קורה שהמודל נותן הנחיות שגויות למטופל, ואין אפשר לצמצם את התופעה עם Retrieval augmented generation.

בפרק זה אירחנו את דניאל מנוחין, מנהלת קהילת data-ops המובילה את התיוג וטקסונומיה ב ebayבסופו של דבר, מודלים טובים ככל שיהיו - חסומים על ידי איכות הדאטא עליהם הם אומנו.דניאל תספר על החוויות שלה בebay, על נקודות כשל קלאסיות בתהליך התיוג ועל איך בונים פרוטוקול אנוטציה אחיד.נדון בהבדל בין מתייגים in-house שהם ממש חלק מהארגון, לעומת מתייגים חיצוניים (כדוגמת mechnical turk) ועל ההשפעה על איכות התיוגים ותהליכי הפיקוח. <p>Data Operations IL</p><p><a href="https://www.linkedin.com/groups/9236026/" rel="ugc noopener noreferrer" target="_blank">https://www.linkedin.com/groups/9236026/</a></p>

זה מרגיש כאילו עולם הלמידה מחולק ל2 מחנות, הסטטיסטיקאים ואנשי מדעי המחשב.ולאחרונה יצא מודל AGLM שהוא רעידת אדמה בעולם האקטואריה (ביטוח, פיננסים), וכנראה שרובנו לא שמענו עליו.בפרק זה נסקור מה אלו מודלי GLM, ספוילר - אחד מהם - הרגרסיה הלוגיסטית, אתם מכירים היטב.נדבר על השימושים שלהם, היתרונות שלהם בתחום הפיננסים בעקבות יכולת ההסבר שלהם, ונדבר גם על המגבלות שלהם.נסקור בקצרה את החידושים בAGLM שמשתמש במודלים מבוססי עצים על מנת להביא חזרה לLogistic Regression את הנקודות שהוא חלש בהם ומביא אותו לרמה של XGBoost.<br /><br /><p>Links:</p><p><a href="https://www.institutdesactuaires.com/global/gene/link.php?doc_id=16273#:~:text=AGLM1%20is%20defined%20as,coding%20methodologies%20of%20dummy%20variables" rel="ugc noopener noreferrer" target="_blank">https://www.institutdesactuaires.com/global/gene/link.php?doc_id=16273#:~:text=AGLM1%20is%20defined%20as,coding%20methodologies%20of%20dummy%20variables</a>.</p><br /><p><a href="https://github.com/kkondo1981/aglm" rel="ugc noopener noreferrer" target="_blank">https://github.com/kkondo1981/aglm</a></p><br /><p>GAM - Generalized additive models</p><p><a href="https://medium.com/just-another-data-scientist/building-interpretable-models-with-generalized-additive-models-in-python-c4404eaf5515" rel="ugc noopener noreferrer" target="_blank">https://medium.com/just-another-data-scientist/building-interpretable-models-with-generalized-additive-models-in-python-c4404eaf5515</a></p>

מי לא מכיר את שוקי ויואל - הגאונים מאחורי ערוץ היוטיוב האדיר שמביא את תרבות הלייב קודינג בעולמות למידת המכונה לארץ הקודש.וואן שוט לרנינג התחיל לפני כשנתיים כרעיון, ומאז הפך לקאלט של ממש.אבל מאחורי כל סרטון של חצי שעה, מסתתרת עבודה רבה, מחקר, באגים, והמון נסיונות שהלכו לפח.בפרק זה אורי ראיין את שוקי ויואל על מאחורי הקלעים של ההפקה, ושואל שאלות קשות. איך הכל התחיל ולמה? איזה פרק הכי אהבתם? איזה פדיחה קרתה בצילומים? ומה התוכניות להמשך ? קישורים:<br />1. <a href="https://www.oneshotlearning.io/" rel="ugc noopener noreferrer" target="_blank">One Shot Learning </a>

<p>בפרק זה אירחנו את מורן קורן, חוקר ומרצה לתורת המשחקים מאוניברסיטת בן גוריון.<br />דיברנו בעבר שימוש ב<a href="https://amlekai-ml-ai-podcast.castos.com/episodes/episode-06-xai" rel="ugc noopener noreferrer" target="_blank">ערכי שייפלי</a> לפרשנות מודלים, ערכי שייפלי הם נושא מחקר פעיל בתורת המשחקים והחלטנו להעמיק ולשפוך אור על תורת המשחקים ואיך הרעיונות משלימים את הנחקר בלמידת מכונה.</p><p>דיברנו על המונחים, מהו שיווי משקל ? איך מגדירים משחקים לפי ידיעה שלמה או גורל, על אסטרטגיה אופטימלית, ואיפה תורת המשחקים פוגשת אותנו כאנשי דאטא.</p><p>איך אפשר להשתמש בתורת המשחקים לצורך איסוף דאטא של מודלים כדי למנוע הטייה באיסוף הנתונים.</p><p>ונדבר על רעיונות מתורת המשחקים שהשפיעו על תחום המכרזים שמעסיק דאטא סיינטיסטים רבים.</p><p>קישורים:</p><ul><li>שייפלי: https://christophm.github.io/interpretable-ml-book/shapley.html</li><li>https://research.ibm.com/publications/strategic-classification</li><li>On learning optimal contracts: https://www.cs.cornell.edu/home/kleinber/aer18-fairness.pdf</li></ul>

<p>אמיר ואורי נסעו במסגרת עבודתם ב<a href="https://www.argmaxml.com" rel="ugc noopener noreferrer" target="_blank">ארגמקס</a> לכנס הייסטאק<br />HayStack2023</p><p>המתמקד בחיפוש, ואימלקו לכם את הפרק לעשרים דקות צפופות על החידושים בתחום החיפוש בעידן ה</p><p>Language models</p><p>דיברנו על ארכיטקטורות חיפוש ובנוסף כוסו האלגוריתמים הבאים</p><ul><li><a href="https://arxiv.org/abs/2107.05720" rel="ugc noopener noreferrer" target="_blank">Splade</a></li><li><a href="https://arxiv.org/abs/2212.10496" rel="ugc noopener noreferrer" target="_blank">Hyde</a></li><li><a href="https://arxiv.org/abs/2306.05212" rel="ugc noopener noreferrer" target="_blank">Search augmentation with LLM</a></li></ul>

<p>בפרק זה אירחנו את רותם דמבו ועומר דודי, שסיפרו לנו על המעבר שעשו בשנה האחרונה, מתפקיד של אנליסט לתפקיד של מדען נתונים.<br />דיברנו על הפערים "התרבותיים" בין המקצועות, אילו יתרונות יש לאנליסט שמחפש להכנס לתחום מדעי הנתונים, אילו השלמות כדאי לעשות ואיזה טיפים יש להם לתת למי שנכנס לתחום.<br />הם יספרו על ההחלטה לעשות את המעבר, על הלימודים בתוכנית Y-DATA, על איך התוכנית סייעה להם במעבר ועל מה הם עושים כיום.</p>

<p>קשה לעבור ברחוב היום בלי לשמוע מישהו מספר לחברו על צ'אט ג'י פי טי או<br />LLM</p><p>אחד החידושים באימון שלו, למעשה ב<br />InstructGPT<br />היו השימוש בלמידה חיזוקית על בסיס דאטא מתויג אנושי בתהליך הדגימה</p><p>נספר על אלגוריתם ה<br />RLHF<br />ושילובו בתוך מודלי השפה<br />LLM</p>

<p>בפרק זה נדבר עם אוהד מדילטייל, העוסק בניתוח סיבתיות.</p><p>אנחנו כולנו למדנו בטירונות דאטא סיינס ש</p><p>Correlation does not imply causation</p><p>אבל מה כן ? האם חייבים לבצע ניסויים מדוקדקים? והאם זה רלוונטי רק לעולם הרפואה או לכולנו ?</p><p> </p><p>קישורים:</p><ol><li><a href="https://github.com/py-why/dowhy/blob/main/docs/source/example_notebooks/tutorial-causalinference-machinelearning-using-dowhy-econml.ipynb" rel="ugc noopener noreferrer" target="_blank">DoWhy tutorials</a></li><li>אלגוריתמים - <a href="https://econml.azurewebsites.net/" rel="ugc noopener noreferrer" target="_blank">EconML docs</a></li><li><a href="https://www.ncbi.nlm.nih.gov/pmc/articles/PMC8357144/" rel="ugc noopener noreferrer" target="_blank">Guide - Athey, Stuart, Vogelstein 2021</a></li></ol><p>מאמר של אוהד  <a href="https://arxiv.org/abs/2207.01722" rel="ugc noopener noreferrer" target="_blank">https://arxiv.org/abs/2207.01722</a></p><p> </p><p>מאמר <a href="https://www.hbs.edu/ris/Publication%20Files/ascarza_jmr_18_783d54d4-e548-41ed-b1d7-8a180f1ae85a.pdf" rel="ugc noopener noreferrer" target="_blank">Ascarza</a></p>

<p>וקטורים, וקטורים בכל מקום ! דיברנו על מילים שהופכות לוקטורים, מסמכים שהופכים לוקטורים, תמונות שהופכות לוקטורים.</p><p>אבל ברוב המקרים, נדרש חיפוש של וקטורים דומים למשימות של קלאסיפיקציה, דירוג ואפילו זיהוי אנומליות.</p><p>חיפוש וקטורי בקנה מידה גדול זו בעיה הנדסית לא פשוטה, עם אילוצי זמן ריצה וזכרון.</p><p>בפרק קצרצר זה, נסקור שלושה אלגוריתמים לחיפוש מקורב ונדבר על סוגי הוקטורים המתאימים.</p>

<p>פרק נוסף בתחום הלמידה החיזוקית, הפעם צוללים לפרטים הטכניים עם התאוריה מאחורי <br />Replay Buffer<br />סוכן, יכול ללמוד רק מהפעולות שלו - מה שנקרא</p><p>On Policy<br />או למידה גם מפעולות של סוכנים אחרים, מה שנקרא</p><p>Off Policy<br />בגישת הריפליי באפר, שומרים "הקלטה" של פעולות עבר ותוצאות עבר - ודוגמים מתוכן לצרכי הלמידה.</p><p>שירלי תספר לנו על המחקר שלה לגבי השפעת גודל הבאפר, והשיפור בתוצאות של אימוני מודלי<br />RL</p>

<p>פרק זה הוא חסות מיוחד בשיתוף אנבידיה, שמוקדש לג'וניורים.</p><p>אנבידיה הפיקה את כנס ה<br />GTC<br />עם דגש מיוחד השנה של גנרטיב - <a href="https://nvda.ws/3jLtogA" rel="ugc noopener noreferrer" target="_blank">להרשמה לחצו פה</a></p><p>בפרק ראיינו חמישה דאטא סיינטיסטים טריים: צחי מורד, טלחיים דמארי, נתי מגור, דין עזרא ואבי חביב.</p>

<p>בפרק זה אירחנו את איתן נצר, מ</p><p>data heroes</p><p>לדבר על בחירה חכמה של דגימות לצורך אימון מודלים.</p><p>אנחנו בעידן הדאטא, נאספים טרות של אירועים מדי יום - אבל המודל שלנו לאו דווקא מרוויח מכל השפע הזה.<br />האם אפשר להגיע לביצועים דומים עם שבריר הדאטא ובחירה חכמה של הדגימה ?</p><p>איתן יספר לנו על גישת ה</p><p>core set</p><p>שחקר, והחליט לימים להקים את דאטאהירוז על מנת להנגיש את הטכנולוגיה.</p><p>מבין המשקיעים בחברה, נמצא גם <br />Andrew Ng</p><p>שהוא מאמין גדול ב</p><p>Data Centric AI</p><p> </p><p>קישורים:</p><ul><li><a href="https://dataheroes.ai/" rel="ugc noopener noreferrer" target="_blank">https://dataheroes.ai/</a></li><li><a href="https://dataheroes.ai/introduction-to-coresets/#motivation" rel="ugc noopener noreferrer" target="_blank">https://dataheroes.ai/introduction-to-coresets/</a></li></ul>

<p>בפרק זה נציג את אתגר הלווינות החדש בסדרת MAFAT Challenge.</p><p>אירחנו את ליאל ממפא"ת ואת שי ועידן מ-Webiks.</p><p>דיברנו על מהפכת החלל, האתגר בזיהוי אובייקטים מתצלומי לוויין במאפיינים שונים וההבדלים ביחס לגילוי אובייקטים קלאסיים.</p><p> </p><p>קישור לתחרות:<br />https://codalab.lisn.upsaclay.fr/competitions/9603</p>

<p>זיהוי אנומליות הוא נושא שימושי למגוון בעיות, זיהוי סנסורים דפוקים, אאוטליירים בדאטא או התנהגות חשודה.</p><p>הבעיה היא שזיהוי אנמליות בפני עצמו הא לא תמיד שימושי, אם אין פעולה שאפשר לבצע בעקבות החריגה.</p><p>נדבר על הגישות הקלאסיות לאנומלי, כגון</p><p>* Density estimation</p><p>* Auto regressive</p><p>* Distance based measures</p><p>ועל הבעייתיות שנובעת מחישוב מרחקים במימדים גבוהים.</p><p>אנדרס יציג את הגישה ההירכית שעבדה להם בריסקיפייד, המבוססת על אימון מספר גדול (6000) של מודלים ברמות שונות, והפעלת לוגיקה סטטיסטית על החריגות של כל מודל בפני עצמו.</p><p>הגישה שונה מגישות קודמות, שכן כל מודל משויך למטריקה - אזי אפשר לא רק לחזות אנומליות , אלא גם להסביר מדוע זו אנומליה ולסנן אך ורק לאנומליות עבורן יש פעולה שאפשר לנקוט.</p><p> </p><p>קישורים:</p><p><a href="https://journalofbigdata.springeropen.com/articles/10.1186/s40537-020-00320-x" rel="ugc noopener noreferrer" target="_blank">problems and challenges related to anomaly detection on big data</a></p><p><a href="https://www.youtube.com/watch?v=ZXDarNfA2-c" rel="ugc noopener noreferrer" target="_blank">The Curse of Dimensionality</a></p><p> </p><p><a href="https://www.youtube.com/watch?v=NdRCKAgDpEg" rel="ugc noopener noreferrer" target="_blank">Andres’ talk about their "new approach" </a></p>

<p>פרק זה הוא פרק סולו של אורי, בוא הוא יספר על החוויה שלו בפתיחת משרת ג'וניור בארגמקס.</p><p>המשרה זכתה לחשיפה גבוהה ברשתות החברתיות והגיעה ל40 אלף איש בעקבות שיטת הגיוס הלא שגרתית.</p><p>אורי יספר על מבחן הבית, ההיענות המפתיעה של מועמדים והביקורות שקיבל מקולגות לתחום.</p><p>באם יש לכם נסיון או מומחיות בתחום גיוס הג'וניורים, נשמח לפידבק בקבוצת הטלגרם שלנו</p><p><a href="https://t.me/explainablepodcast" rel="ugc noopener noreferrer" target="_blank">https://t.me/explainablepodcast</a></p><p>לעיון במבחן הבית:</p><p><a href="https://argmax.ml/jr" rel="ugc noopener noreferrer" target="_blank">https://argmax.ml/jr</a></p><p> </p>

<p>בפרק זה אירחנו את חי מרון מ</p><p>nvidia</p><p>לדבר על עיבוד גרפים עם רשתות נוירונים.</p><p>נדבר על ישומים של גרפים בחיים האמיתיים, ועל ההבדל האינהרנטי שבין גרף לבין "תמונה" או מטריצה כללית.</p><p>נדבר על 4 הגישות הרווחות למידול</p><ol><li>שיטות ספקטרליות</li><li>מודלי העברת הודעות</li><li>רשתות אקוויורינטיות</li><li>וכמובן, טרנספורמרים</li></ol><p>לקריאה נוספת:</p><p><a href="https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf" rel="ugc noopener noreferrer" target="_blank">https://www.cs.mcgill.ca/~wlh/grl_book/files/GRL_Book.pdf</a></p><p>הרצאה של חגי על יצוג גרפים כסימטריות</p><p><a href="https://www.youtube.com/watch?v=k3E3XyMtQcA&amp;list=PL7VfmMOOwNlJ5PndlhiMwjvqDTA6m1Z9i&amp;index=2&amp;t=120s" rel="ugc noopener noreferrer" target="_blank">https://www.youtube.com/watch?v=k3E3XyMtQcA&amp;list=PL7VfmMOOwNlJ5PndlhiMwjvqDTA6m1Z9i&amp;index=2&amp;t=120s</a></p><p> </p>

<p>בפרק קודם דיברנו על קודקס, מודל השפה שמאחורי</p><p>Github Co-Pilot</p><p>בפרק זה, החלטנו להעמיק ולראיין את ערן יהב, חוקר באקדמיה והמוח מאחורי </p><p>TabNine</p><p>ואורי אלון, פוסט דוקטורט בתחום שחוקר את הנושא הרבה לפני שזה היה מגניב.</p><p>נדבר על ההיסטוריה של התחום, גישות מבוססות גרפים, דקדוק ומה הקשר בין שפת התכנות ליכולת החיזוי.</p><p>כמו כן נדבר על אתגרים מוצריים ב</p><p>TabNine</p><p>ועל המעטפת הנדרשת להפיכת מודל למוצר שאנשים משתמשים בו ומרוצים ממנו.</p>

<p>נראה שעולם המודלים הגיעה לבשלות, לא פעם יוצא לנסות כמה מודלים שונים ולהגיע לאותן מטריקות.</p><p>הטרנד של</p><p>data centric ai</p><p>שמוביל <br />Andrew Ng</p><p>דוגל בגישה שהפוקוס צריך לעבור לבחירה נכונה של הדאטא, ויצירה חכמה של דאטא סינטתי יותר מאשר אופטימיזציה של מודלים.</p><p>סיגל שקד תספר לנו על הגישה החדשה וההבדלי מונחים אל מול גישות קלאסיות של</p><p>resampling / augmentation</p><p>קישורים רלוונטים:</p><ul><li><a href="https://imbalanced-learn.org/stable/index.html" rel="ugc noopener noreferrer" target="_blank">imbalanced-learn</a></li><li>TGAN</li><li><a href="https://github.com/sdv-dev/CTGAN" rel="ugc noopener noreferrer" target="_blank">CTGAN</a></li><li><a href="https://arxiv.org/abs/2209.15421" rel="ugc noopener noreferrer" target="_blank">TABDDPM</a></li><li><a href="https://github.com/sdv-dev/SDV" rel="ugc noopener noreferrer" target="_blank">SDV</a></li></ul><p>Commercial: <a href="https://gretel.ai/?utm_term=gretel&amp;utm_campaign=&amp;utm_source=adwords&amp;utm_medium=ppc&amp;hsa_acc=1679539919&amp;hsa_cam=18066231995&amp;hsa_grp=138828179934&amp;hsa_ad=616662132138&amp;hsa_src=g&amp;hsa_tgt=kwd-300593851391&amp;hsa_kw=gretel&amp;hsa_mt=e&amp;hsa_net=adwords&amp;hsa_ver=3&amp;gclid=CjwKCAjwkaSaBhA4EiwALBgQaNdBGQ-YGKYj5q2e98BL7pbcl_BHdRLgZhGlgGbnU6pUUYCVf8cqGBoCGp4QAvD_BwE" rel="ugc noopener noreferrer" target="_blank">gretel</a>, <a href="https://pypi.org/project/datomize/" rel="ugc noopener noreferrer" target="_blank">datomize</a></p>

<p>בפרק זה אירחנו את שי פרח ממכון וייצמן, מומחה להוראת המדעים.</p><p>בעידן שלנו, ללמוד לתכנת זה כישור יסוד כמו קריאה וכתיבה בעידן המחשב.</p><p>האם הגיע המקום לחשיבה בשיטת</p><p>ai4all</p><p>על משקל תנועת ה</p><p>coding4all</p><p>הפופולארי.</p><p>דיברנו על הכשרות בתחום הבינה המלאכותית בתוכנית הלימודים.</p><p>מה ההבדל בין "מדעי המחשב הקלאסי" לבין אפיון בעיה כ"למידת מכונה" מנקודת המבט של המהנדס.</p><p> </p>

<p>מייק, אורח קבוע של הפודקאסט ידבר איתנו על</p><p>Normalized Flows</p><p>מודל חדש ליצירת תמונה מטקסט, או תמונה מתמונה בדומה ל</p><p>Diffusion model, GANS and VAE</p><p>נדבר על ההבדלים בין המודלים, על היתרון ב</p><p>density estimations</p><p>ונבחן לעומק את הבניה המיוחדת של ההמרה המתמטית שמאפשרת חישוב יעיל ומדויק של ההתפלגות</p>

<p>בפרק זה אירחנו את ערן אילת האנומליה, לדבר על חיזוי אנומליות בתמונות..</p><p>חיזוי של חריגות הוא קריטי לתחומים רבים כמו סייבר, הונאה פיננסית ובקרה על מודלים.</p><p>בעולמות התמונה, נדבר על שלושת הסוגים של חריגות, חריגה מההתפלגות</p><p>OOD</p><p>חריגה סמנטית, אובייקט לא מוכר.</p><p>ולבסוף חריגה כזיהוי של פגם (למשל בעולם היצור)</p><p> </p><p>נדבר איך מודלים מתחום התמונה כמו קונטרסטיב, גאנ וטרנספורמרים משמשים גם לזיהוי חריגות</p><p>קרדיט למחקר משותף: מתן טור פז</p>

<p>תמיר ואורי, שניהם עוסקים כיועצים בתחום למידת המכונה - ועשו הרבה טעויות שניתן ללמוד מהם כשניגשים לפרויקט חדש.</p><p>בפרק זה, נדבר על שלושה פרויקטים לדוגמא - ומה הן השאלות והסוגיות שצריך להעלות לפני שמתחילים.</p><p>נדבר על מטריקות - איך מודדים פרויקט, על אתגרים טכניים.</p><p>איך בוחנים האם הדאטא מספק, והאם הארגון בכלל בשל ל</p><p>AI</p><p>והכי חשוב - תיאום ציפיות לתוצרים של הפרויקט.</p>

<p>הקופיילוט של גיטהאב הכניס למודעות תחום מחקר מרתק של</p><p>Program Synthesis</p><p>העוסק ביצירה של קוד מתוך טקסט או מתוך דוגמאות הרצה.</p><p>אורי, כמשתמש נלהב של טייס המשנה יספר מהחוויות שלו על השימוש - החוזקות והחולשות של הכלי.</p><p>ונדבר על קודקס, מודל השפה ש</p><p>Open AI</p><p>אימנו על גיטהאב, וכיצד הוא עובד.</p><p>כמו כן נסקור את תחום עיבוד השפה הפורמלי (לעומת שפה טבעית) ומה ההבדלים במטריקות והאתגרים הדומים והשונים.</p>

<p>בפרק זה אירחנו את שקד זיכלינסקי, ראש קבוצת ההמלצות של לייטריקס.</p><p>שקד ריכז עבורנו את ששת המאמרים החשובים שכל דאטא סיינטיסט מודרני חייב להכיר.</p><p>ששת המאמרים הם:</p>(1) Attention Is All You Need(2) BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding(3) A Style-Based Generator Architecture for Generative Adversarial Networks(4) Learning Transferable Visual Models From Natural Language Supervision(5) Mastering the Game of Go with Deep Neural Networks and Tree Search(6) Deep Neural Networks for YouTube Recommendations<p>שקד גם כתב בהרחבה במדיום פה:</p><p>https://towardsdatascience.com/6-papers-every-modern-data-scientist-must-read-1d0e708becd</p>

<p>בפרק זה אירחנו את זיו פרוינד שהכיר לנו מונח חדש לבעיה נפוצה.</p><p>מכירים את זה שאימנתם מודל שעובד מעולה כשמסווגים 10 מחלקות, אבל פתאום כשמגיעים לשטח מגלים שיש עוד 12 מחלקות שלא חשבתם עליהם ומבלבלות את המודל ?</p><p>זיו יספר על נסיונו בסיווג סיגנלים באלביט, ויספר על גישות לפתרון הבעיה.</p><p>נשמע לכם כמו קלאסטרינג ? גם לנו - נדבר על ההבדלים ועל שימוש בשיטות כמו</p><p>Contrastive</p><p>ללמידת ייצוגים מוכוונת לבעיית הקלאסיפיקציה שתבוא בהמשך.</p><p> </p><p> </p><p> </p><p> </p><p> </p>לקריאה נוספת<br /><p>[1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” <em>ArXiv</em> abs/1802.04365 (2020): n. pag.</p><p> </p><p>[1]Hassen, Mehadi and Philip K. Chan. “Learning a Neural-network-based Representation for Open Set Recognition.” <em>ArXiv</em> abs/1802.04365 (2020): n. pag.</p><p> </p><p>[1]Hsu, Yen-Chang, ZhaoyangLv, and Zsolt Kira. "Learning to cluster in order to transfer across domains and tasks.” ICLR 2018</p><p> </p><p>[1]Yang, Bo, et al. "Towards k-means-friendly spaces: Simultaneous deep learning and clustering." <em>international conference on machine learning</em>. PMLR, 2017.</p><p> </p><p>[1]Geng, Chuanxing, Sheng-jun Huang, and Songcan Chen. "Recent advances in open set recognition: A survey." <em>IEEE transactions on pattern analysis and machine intelligence</em> 43.10 (2020): 3614-3631.</p><p> </p><p>[1]Min, Erxue, et al. "A survey of clustering with deep learning: From the perspective of network architecture." <em>IEEE Access</em> 6 (2018): 39501-39514.</p><p> </p>

<p>בפרק זה נראיין את איתי מרגולין על אחת הטכניקות הפרקטיות בתעשייה שכל עסקן דיפ לרנינג חייב להכיר.</p><p>מולטי-טאסק זו למידה של מספר משימות במקביל, ולמרות שהמונח קיים כבר עשרות שנים, הוא זכה להכרה מחדש עם פרוץ דיפ לחיינו.</p><p>נדבר על מתי למידה של מספר משימות מועילה, מתי היא מזיקה ?</p><p>מה ההבדל מול<br />Transfer learning ?<br />ואיך משלבים כמה מטרות לפונקציית לוס אחת</p>

<p>כמשתמשים אנחנו נחפשים למערכות המלצה כל הזמן, בין אם זה בסופר בקניות או בגלילת סרטים בנטפליקס.</p><p>בפרק זה נדבר עם דנה, על איך טאבולה, ענקית ההמלצות העולמית ממליצה לנו על כתבות דומות כשאנחנו גולשים באינטרנט.</p><p>נדבר על המלצות מבוססות תוכן בלבד</p><p>content filtering</p><p>המלצות מבוססות אינטראקציות בלבד, בהשראת פרס נטפליקס 2009</p><p>collaborative filtering</p><p>ונדבר על מימושים כגון וריאציות על</p><p>matrix factorization</p><p>ו</p><p>factorization machines</p><p>כדי לשלב גם תכנים וגם התנהגות משתמשים להמלצה אחת.</p><p>כמו כן נדבר על איך טאבולה עושים</p><p>Transfer learning</p><p>כשיש טראפיק מועט, או כשיש תלות גדולה בין אתרים.</p>

<p>בפרק זה נדבר על זיהוי אובייקטים בתמונה, ונארח את אברהם רביב - דוקטורנט בתחום בבר אילן ופעיל מאוד בקהילה עם הסקירות המעולות שלו.</p><p>נדבר על בעיות בראיה ממוחשבת, מקלאסיפיקציה, דרך זיהוי אובייקטים ועד סגמנטציה - ועל הקושי בתיוג.</p><p>זיהוי אובייקטים יכול להיות ממודל או כבעיה דו שלבית, הכוללת שלב נקודות עניין ואז קלאסיפיקציה או יחדיו - ונזכיר את</p><p>YOLO</p><p>שהיה מודל חלוצי בתחום.</p><p>נדבר על המעבר מרשתות</p><p>CNN</p><p>לטרנספורמרים, ועל המודל</p><p>DETR</p><p> </p><p> </p><p>סקירה של אברהם רביב על דיטר:</p><p>https://github.com/AvrahamRaviv/Deep-Learning-in-Hebrew/blob/main/deepnightleaners%20reviews/DETR.pdf</p>

<p>ראיון מיוחד עם מייק ארליכסון האחד והיחיד על מודל גנרטיבי "חדש".</p><p>Diffusion Models<br />הם שיטה חדש לפעפוע רעש, ואימון מודל להפוך רעש  על ידי סדרה של מודלים לתמונות סופר איכותיות.</p><p>נדבר על המאמר:</p><p>Diffusion models beat gans on image synthesis</p><p>שמראה שמודלי דיפוזיה מצליחים להביס מודלים קודמים כגון</p><p>GANs.<br />ונסקור את המטריקות לאיכות תמונה שנבדקו, כמו כן נדבר על החסרונות של<br />DDPM<br />לעומת<br />VAE &amp; GANs</p>

<p>בפרק זה נדבר עם אורן רזון שמוביל את</p><p>superwise</p><p>על שלושת השלבים של דיפלוימנט של מודלי למידת מכונה.</p><p>נדבר על מה יכול להשתבש בפרודקשן כשמודל מתיישן והעולם מתיישן, ואיך ניתן להיות עם יד על הדופק עם<br />Monitoring</p><p> </p><p>קישורים רלוונטים:</p><p><a href="https://t.sidekickopen01.com/s3t/c/5/f18dQhb0S7kF8bWLgwV-J0Zr59hl3kW7_k2841CX6NGW35Qwvf7t5BbRW1Gg0Ky308Yc0f197v5Y04?te=W3R5hFj4cm2zwW4cQKhQ49S_6ZW3JFvdt1LvFJtW3NC0Nq43Vs85W49PFDK3_R5N50&amp;si=8000000019275819&amp;pi=879931d9-bf8f-47d2-a7c4-a0b9e7ed5027" rel="ugc noopener noreferrer" target="_blank">Building your MLOps roadmap</a></p><a href="https://t.sidekickopen01.com/s3t/c/5/f18dQhb0S7kF8bWLgwV-J0Zr59hl3kW7_k2841CX6NGW35Qwvf7t5BbRW1Gg0Ky308Yc0f197v5Y04?te=W3R5hFj4cm2zwW4cQKhQ49S_6ZW3JFvdt1LvFJtW3NB_Qr3T0tXmW43W8-v4hPmk1W3R3bRw3T1k6SW4fHRFD49M8jsW4fdhW849HSF_W3P8Kgv43W8-XW43Xxrw3_XXn1W3ZrXwn4cJ2VxW3z7ZCs3T3Sy_0&amp;si=8000000019275819&amp;pi=879931d9-bf8f-47d2-a7c4-a0b9e7ed5027" rel="ugc noopener noreferrer" target="_blank">Build or buy? Choosing the right strategy for your model observability</a><a href="https://t.sidekickopen01.com/s3t/c/5/f18dQhb0S7kF8bWLgwV-J0Zr59hl3kW7_k2841CX6NGW35Qwvf7t5BbRW1Gg0Ky308Yc0f197v5Y04?te=W3R5hFj4cm2zwW45SB6d3zd199W4hKJ-64mCWVcW1JwHrf3z8myJW4hJWjL4cKJQM4TQs11&amp;si=8000000019275819&amp;pi=879931d9-bf8f-47d2-a7c4-a0b9e7ed5027" rel="ugc noopener noreferrer" target="_blank">Superwise Community Edition </a> 

<p>למידת מכונה נורא כיפית ופשוטה כשמורידים מחברת מקאגל וכל הדאטא יושב בקובץ על המחשב ליד, אבל בחיים האמיתיים המצב לא כ"כ פשוט.</p><p>בפרק זה אסף פנחסי (יועץ בתחום, בוגר פייפל ובכיר בזברה מדיקל לש') לספר לנו על החיים האמיתיים.</p><p>שאלנו את אסף את כל השאלות הקשות: מחברות או קוד ? האם</p><p>feature store</p><p>זה משהו שאנחנו צריכים, ומתי הוא לא מתאים ?</p><p>וכמובן, מה ההבדל בין</p><p>ML engineering</p><p>ל</p><p>MLops</p><p>?</p><p> </p>

<p>סטטיסטיקאים נחצים ל2 מחנות: הסטטיסטיקאים הקלאסיים-תדירותיים, והסטטיסטיקאים הבייסיאנים.</p><p>סטטיסטיקה בייסיאנית היא גישה שונה לסטטיסטיקה, שמנסה לדון בסבירות לא רק של הדאטא הנצפה בהנתן השערה, אלא גם בסבירות של הפרמטרים של ההתפלגות.</p><p>מודלים רבים כגון</p><p>GMM, Naive Bayes  ו Latent Dirrechlet allocation</p><p>מתבססים על סטטיסטיקה בייסיאנית, ולאחרונה גם רשתות נוירונים זוכות לפרשנות בייסיאנית.</p><p>בפרק נדבר על ההבדלים, ועל האומדים השונים של 2 הגישות.</p>

<p>בפרק זה אירחנו את ברק אור לספר לנו על ניווט אינרציאלי.</p><p>כשאנחנו חושבים על ניווט, אנחנו חושבים על גוגל מאפס, ווייז ושלל אפליקציות שמשתמשות ב</p><p>GPS.</p><p>אבל לג'י פי אס יש מגבלות, ויש דרכים נוספות לנווט - כגון מדדי תאוצה, מהירות ומצפן.</p><p>ברק יספר לנו על אלגוריתם קלמן פילטר ששרד את מבחן הזמן ועל הרחבות שלו עם למידת מכונה.</p>

<p>בפרק זה ראיינו את רועי טבח שייספר לנו על האתגרים בעולם הסייבר,</p><p>דיברנו על שימוש  באנומלי דטקשן להתראה על אירועים חשודים בלוגים של מערכות.</p><p>ודיברנו על מירוץ החימוש הנצחי בין התוקפים למגינים</p>

<p>כבר התרגלנו בעולם המשין לרנינג, ששום מודל לא שורד יותר משנה-שנתיים בתור ה</p><p>SOTA</p><p>עד שמגיעה גישה חדשה שטורפת את הקלפים.</p><p>לכן מעניין דווקא לדבר על</p><p>PPO</p><p>שנשאר הגישה הדומיננטי ב</p><p>Reinforcement learning</p><p>כבר חמש שנים, ולא נראה שהוא הולך לשום מקום.</p><p>נלמד על הבעיתיות של למידה רק עם גרדיאנט, ונדבר על מה זה "גרדיאנט טבעי"</p>

<p>בפרק זה אירחנו את דניאל חן מפייבר, לדבר על אלגוריתמי בנדיטים.</p><p>Multi armed bandit</p><p>היא גרסה מנוונת של</p><p>Reinforcement learning</p><p>אבל שימושית מאוד, עם אלגוריתמים ייחודיים לפתרון יעיל.</p><p>נדבר על שימושים בעולמות הפרסום, תימחור דינמי, ואיך מכניסים קונטקסט לבנדיטים ושומרים על שפיות.</p>

<p>פרק מהארכיון, עם מייק ארליכסון המפורסם מסקירות המאמרים.</p><p>בפרק זה נדבר על הדרך מאוטו-אנקודר אל</p><p>VAE</p><p>לצורך יצירה של דאטא סינטתי.</p><p>ונדבר על ההבדלים מול</p><p>GAN</p>

<p>בפרק זה נחזור לבסיס ונדבר על עצי החלטה, המודל הבסיסי והאינטואטיבי ביותר - שעדיין עובד יותר טוב על דאטא טבלאי.</p><p>נדבר על שיטות אימון חמדניות, ועל שימוש באנטרופיה כקירוב.</p><p>ונתאר מה ההבדל בין שיטות ה</p><p>ensemble</p><p>הנפוצות, בוסטינג לעומת באגינג.</p>

<p>נראה שלמידה ניגודית מקבלת המון תשומת לב לאחרונה, בעיבוד תמונה, טקסט ואפילו דאטא טבלאי.</p><p>נדבר על המאמר פורץ הדרך של הינטון</p><p>SimCLR</p><p>ונשווה אותו אל מול שיטות קלאסיות של הורדת מימד.</p>

<p>בהמשך לסיקור החדשותי של זילו, והחיזוי מחירי נדלן שהביאו להפסדים של מיליארדים - תמיר ואורי מתוודאים על פדיחות שעשו בפרויקטים.</p><p>מה קורה כשהמודל מושלם אבל תהליך יצירת הדאטא פחות ? איך פרויקט תיוג יכול להשתבש ולהתפוצץ בפנים, וכמובן - כמה חשוב לקרוא את האותיות הקטנות בדוקמנטציה.</p>

<p>בפרק זה אירחנו את אמיר עברי להסביר לנו על עיבוד קול, מה הם השלבים השונים בפייפליין של</p><p>Speech recognition</p><p>ועל האתגרים בתחום. בפרק נדבר על שיטות כגון</p><p>MFCC</p><p>לעיבוד אותות שמע, וכיצד אפשר להתמודד עם המימד הגבוה עםטכניקות כמו</p><p>Diffusion maps</p><p>כדי לאפשר עיבוד בזמן אמת.</p>

<p>על מהפכת הדיפ לרנינג לא צריך להרחיב, כולנו מכירים וחלקנו אף מימשנו.</p><p>אבל למה לעזאזל הדבר הזה עובד ? בפרק זה אירחנו את גלעד יהודאי, סטודנט לדוקטורט לתחום ושאלנו אותו את השאלות הקשות.</p><p>נלמד מה זה "אוברפיטינג שפיר" מה היא תופעת ה"ירידה הכפולה" ומה הם שלושת סוגי הטעויות בלמידה.</p>

<p>בפרק זה אורי מארח את רעות צרפתי לדבר על עיבוד שפה בעברית.</p><p>מה ההבדל בכלל בין עברית לאנגלית ? למה זה יותר קשה ?</p><p>האם החיים היו יותר קלים אם היינו כותבים עם ניקוד ?</p><p>ודיברנו על ההבדלים הבלשניים של שפות שמיות (עברית וערבית) אל מול שפות הודו אירופאיות.</p><p> </p>

<p>קיבלתם פעם דאטאסט עם "כל הדברים שחשוב לזהות" אבל בלי אף דוגמא שלילית ?</p><p>אני בטוח שכן, אפשרות אחת לפתרון היא למדל את הבעיה כקלאסיפיקציה ואיכשהו להמציא דוגמאות שליליות.</p><p>או, לחילופין למדל את הבעיה כ</p><p>Positive Unlabeled Learning</p><p>אבל מה זה ?</p><p>שי פלצ'י יסביר לנו ויספר על הספריה שלו</p><p>pu-learn</p>

<p>Tamir Nave and Uri Goren introduce themselves and the new podcast format.</p>

<p><span style="font-weight:400;"><strong>בפרק זה,</strong> התארחנו ב </span><a href="http://weel.com" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">weel.com</span></a><span style="font-weight:400;">, ואירחנו את יגאל ויינברגר, שדיבר איתנו על AlgoTrading. שוחחנו על סוגי אלגוטריידינג (Sell side, Buy side, HFT), ועל גישות האלגוריתמים בתחום: כלים סטטיסטיים סטנדרטיים, LSTM, Reinforcement Learning. בנוסף, הצגנו כיצד אפשר להיכנס לתחום, ויגאל אפילו נתן לנו אלגוריתם baseline להתחיל לשחק איתו. האותיות הקטנות של האזהרה: כן לנסות את זה בבית, אבל לא כ"כ מהר על כסף אמיתי!</span></p> <p><strong>קישורים רלוונטיים:</strong></p> <ul> <li><ul> <li style="font-weight:400;"><a href="https://en.wikipedia.org/wiki/The_Hummingbird_Project" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">The_Hummingbird_Project</span></a></li> <li style="font-weight:400;"><a href="https://en.wikipedia.org/wiki/2010_flash_crash" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">2010_flash_crash</span></a></li> <li style="font-weight:400;"><a href="https://en.wikipedia.org/wiki/QuantConnect" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">QuantConnect</span></a></li> <li style="font-weight:400;"><strong><a href="https://medium.com/the-owl/algorithmic-trading-strategies-5c3b9d6ab618" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Algorithmic Trading Strategies</span></a></strong></li> </ul></li> </ul> <p> </p> <p> </p> <p> </p>

<p><span style="font-weight:400;"><strong>בפרק זה,</strong> נארח את אופיר יוקטן - שמתעסק בניבוי התאמה של קורות חיים. אופיר יציג כיצד הוא מתמודד עם מודלים מפלים על רקע מגדרי\גזעני. נעסוק בשיטות להתמודדות עם הבעיה הזו: העלמת או הינדוס פיצ'רים, אימון עם Database מאוזן, ושיטת Gradient reversal layer.</span></p> <p><span style="font-weight:400;">קישורים:</span></p> <ul> <li style="font-weight:400;"><span style="font-weight:400;"> "What is Adverse Impact? And Why Measuring It Matters." 26 Mar. 2018, </span><a href="https://www.hirevue.com/blog/hiring/what-is-adverse-impact-and-why-measuring-it-matters" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">https://www.hirevue.com/blog/hiring/what-is-adverse-impact-and-why-measuring-it-matters</span></a><span style="font-weight:400;">. Accessed 15 Dec. 2020.</span></li> <li style="font-weight:400;"><span style="font-weight:400;"> "Bias in Natural Language Processing (NLP): A Dangerous But ...." 1 Sep. 2020, </span><a href="https://towardsdatascience.com/bias-in-natural-language-processing-nlp-a-dangerous-but-fixable-problem-7d01a12cf0f7" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">https://towardsdatascience.com/bias-in-natural-language-processing-nlp-a-dangerous-but-fixable-problem-7d01a12cf0f7</span></a><span style="font-weight:400;">. Accessed 15 Dec. 2020.</span></li> <li style="font-weight:400;"><span style="font-weight:400;"> "Adversarial Removal of Demographic Attributes from Text Data." 20 Aug. 2018, </span><a href="https://arxiv.org/abs/1808.06640" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">https://arxiv.org/abs/1808.06640</span></a><span style="font-weight:400;">.</span></li> <li style="font-weight:400;"><span style="font-weight:400;"> "Unsupervised Domain Adaptation by Backpropagation." 26 Sep. 2014, </span><a href="https://arxiv.org/abs/1409.7495" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">https://arxiv.org/abs/1409.7495</span></a><span style="font-weight:400;">. </span></li> </ul>

<p><span style="font-weight:400;"><strong>בפרק זה,</strong> נדבר על מודלים ג'נרטיביים, ובפרט על מהפכת ה-GAN=Generative Adversarial Networks. איך עובד הקסם? תחרות בין מודלים - האחד שמזייף, והשני שמגלה זיופים. וקצת על כל הנגזרות של האלגוריתם, שבאו כפטריות אחרי הגשם.</span></p> <p><span style="font-weight:400;">קישורים:</span></p> <ul> <li style="font-weight:400;"><a href="https://arxiv.org/abs/1406.2661"><span style="font-weight:400;">מאמר מקורי GAN</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/abs/1511.06434v2"><span style="font-weight:400;">DCGAN</span></a></li> <li style="font-weight:400;"><a href="https://lilianweng.github.io/lil-log/2017/08/20/from-GAN-to-WGAN.html"><span style="font-weight:400;">המתמטיקה של GAN</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/abs/1701.07875"><span style="font-weight:400;">WGAN</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/abs/1606.03657"><span style="font-weight:400;">INFOGAN</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/abs/1605.09782v7"><span style="font-weight:400;">BIGAN</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/abs/1812.04948"><span style="font-weight:400;">StyleGAN</span></a></li> </ul>

<p><span style="font-weight:400;"><strong>בפרק זה,</strong> נסקור את ההשתלשלות של ניתוח סדרות בזמן החל מ-RNN, דרך Attention Models ועד ל-Transformers.<br /></span><span style="font-weight:400;">נדבר על Self Attention, Multi Headed Attention, LSTM, RNN, GRU, Transformers ו-DeTR.</span></p> <p><span style="font-weight:400;">קישורים רלוונטיים:</span></p> <ul> <li style="font-weight:400;"><a href="https://towardsdatascience.com/attention-networks-c735befb5e9f"><span style="font-weight:400;">Attention Models</span></a></li> <li style="font-weight:400;"><a href="https://www.youtube.com/watch?v=4Bdc55j80l8"><span style="font-weight:400;">הסבר טוב בוידאו</span></a><span style="font-weight:400;"> על Transformers</span></li> <li style="font-weight:400;"><a href="https://talktotransformer.com/"><span style="font-weight:400;">Talk to Transformer</span></a></li> <li style="font-weight:400;"><a href="http://jalammar.github.io/illustrated-transformer/"><span style="font-weight:400;">The Illustrated Transformer</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/2005.12872.pdf"><span style="font-weight:400;">End-to-End Object Detection with Transformers</span></a></li> </ul>

<p><span style="font-weight:400;">בפרק זה נארח את אלה בור, שתספר לנו על מהם גרפים (קשתות וצמתים), על בעיות המיוצגות ע"י גרפים ועל שיכון גרפים במרחב אוקלידי (GNN, Node2Vec).<br /></span><strong>קישורים:</strong></p> <ul> <li style="font-weight:400;"><span style="font-weight:400;">Node2vec - </span><a href="https://arxiv.org/pdf/1607.00653.pdf"><span style="font-weight:400;">https://arxiv.org/pdf/1607.00653.pdf</span></a><span style="font-weight:400;">, </span><a href="https://towardsdatascience.com/node2vec-embeddings-for-graph-data-32a866340fef"><span style="font-weight:400;">https://towardsdatascience.com/node2vec-embeddings-for-graph-data-32a866340fef</span></a></li> <li style="font-weight:400;"><span style="font-weight:400;">GNN - </span><a href="https://arxiv.org/pdf/1812.08434.pdf"><span style="font-weight:400;">https://arxiv.org/pdf/1812.08434.pdf</span></a></li> <li style="font-weight:400;"><span style="font-weight:400;">Graph embeddings - </span><a href="https://towardsdatascience.com/graph-embeddings-the-summary-cc6075aba007"><span style="font-weight:400;">https://towardsdatascience.com/graph-embeddings-the-summary-cc6075aba007</span></a></li> </ul> <p><a href="https://towardsdatascience.com/graph-embeddings-the-summary-cc6075aba007"><span style="font-weight:400;"> </span></a></p>

<h3 style="text-align:right;"><strong>בפרק זה אנו נארח את פיטר נפתליאב <a href="https://2d3d.ai/" target="_blank" rel="noreferrer noopener">הבלוגר </a>ומנהל קהילת <a href="https://www.reddit.com/r/2D3DAI/" target="_blank" rel="noreferrer noopener">/r/2D3DAI</a> שידבר איתנו על עולם התלת מימד. </strong></h3> <h3 style="text-align:right;"><strong>נעסוק ביישומים ובסוגי הבעיות בתחום. נסקור ייצוגים של DATA תלת מימדי: Cad, Mesh, Voxel, Points Cloud.</strong></h3> <p style="text-align:right;"> </p> <p><span style="font-weight:400;">קישורים רלוונטיים:</span></p> <p style="text-align:right;"><a href="https://www.reddit.com/r/2D3DAI/" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">/r/2D3DAI</span></a></p> <p style="text-align:right;"><a href="https://en.wikipedia.org/wiki/3D_reconstruction" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">3D Reconstruction</span></a></p> <p style="text-align:right;"><a href="https://en.wikipedia.org/wiki/Point_cloud" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Points Cloud</span></a></p> <p style="text-align:right;"><a href="https://dl.acm.org/doi/10.1145/37402.37422" target="_blank" rel="noreferrer noopener">Marching cubes</a></p>

<p><span style="font-weight:400;">בפרק זה נדבר על שיטת רגרסיה, שנקראת Kriging או Gaussian process regression - שיטה בייסיאנית שהחלה במטרה לאתר מכרות זהב. נדבר על מושגי מבוא, כמו: משתנה אקראי גאוסי ותהליך אקראי גאוסי, ועל משפט הגאוסיאני המותנה. קישורים רלוונטיים:</span></p> <ul> <li style="font-weight:400;"><a href="https://www.math.univ-toulouse.fr/~fbachoc/LRC_Manon_2014.pdf" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">https://www.math.univ-toulouse.fr/~fbachoc/LRC_Manon_2014.pdf</span></a></li> <li style="font-weight:400;"><a href="https://www.youtube.com/watch?v=xBE8qdAAj3w" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Pydata nyc workshop on GPR</span></a></li> <li style="font-weight:400;"><a href="https://github.com/urigoren/conjugate_prior" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Conjugate prior</span></a></li> </ul>

<p><span style="font-weight:400;">בפרק זה נעסוק בתחום ה-Curriculum Learning - מה זה ולמה זה טוב? איך מסדרים בסדר מוצלח יותר את דוגמאות האימון ולפי אילו מדדים? בשיחה, נדבר על המרכיבים המקובלים - scoring ו-pacing, ועל מתודולוגית Teacher-Student.<br /></span></p> <p><span style="font-weight:400;">קישורים רלוונטיים:</span></p> <ul> <li style="font-weight:400;"><a href="https://mila.quebec/wp-content/uploads/2019/08/2009_curriculum_icml.pdf" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Curriculum learning</span></a></li> <li style="font-weight:400;"><a href="https://www.sciencedirect.com/science/article/abs/pii/0010027793900584" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">מאמר ראשון בנושא (Elman)</span></a></li> <li style="font-weight:400;"><a href="https://lilianweng.github.io/lil-log/2020/01/29/curriculum-for-reinforcement-learning.html" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Curriculum for Reinforcement Learning</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/1707.00183.pdf" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Teacher-Student Curriculum Learning </span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/1904.03626.pdf" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">On The Power of Curriculum Learning in Training Deep Networks </span></a></li> </ul> <p><span style="font-weight:400;"> </span></p>

<p><span style="font-weight:400;"><strong>בפרק זה,</strong> נשוחח על מהי התמרת פורייה. מוטיבציות, שימושים, Time Series והקשר ללמידה עמוקה.<br />קישורים רלוונטיים: </span></p> <ul> <li><a href="https://www.youtube.com/watch?v=spUNpyF58BY" target="_blank" rel="noreferrer noopener">But what is the Fourier Transform? A visual introduction</a></li> <li><a href="http://ecmlpkdd2017.ijs.si/papers/paperID11.pdf" target="_blank" rel="noreferrer noopener">Fourier Convolutional Neural Networks</a></li> </ul>

<p><span style="font-weight:400;"><strong>בפרק זה,</strong> נדבר על Adversarial Attacks, על איך מייצרים Adversarial Examples בשיטת FGSM, על התקפות White or Black box models ונזכיר Certifiable Robustness.</span></p> <ul> <li><ul> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/1412.6572.pdf" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">FGSM</span></a></li> <li style="font-weight:400;"><a href="https://www.researchgate.net/publication/327074374_A_Survey_of_Adversarial_Machine_Learning_in_Cyber_Warfare" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">A Survey of Adversarial Machine Learning in Cyber Warfare</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/1707.03501.pdf" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">no need to worry about adversarial examples in object detection in autonomous vehicles</span></a></li> </ul></li> </ul>

<p><span style="font-weight:400;"><strong>בפרק זה נדבר על הורדת מימדים - Dimensionality reduction.</strong> נעסוק במוטיבציות (קללת המימדים), ובאלגוריתמים PCA, T-SNE, AutoEncoders, SOM.</span></p> <p><strong>קישורים רלוונטיים:</strong></p> <ul> <li style="font-weight:400;"><a href="https://onlinecourses.science.psu.edu/stat505/lesson/11"><span style="font-weight:400;">https://onlinecourses.science.psu.edu/stat505/lesson/11</span></a></li> <li style="font-weight:400;"><a href="https://distill.pub/2016/misread-tsne/"><span style="font-weight:400;">https://distill.pub/2016/misread-tsne/</span></a></li> </ul>

<p><span style="font-weight:400;">בפרק זה נעסוק בבעיה הכי שכיחה בעולם unsupervised, הרי היא בעיית ה-clustering - ניתוח אשכולות. נדבר על משפחות אלגוריתמים (top down - bottom up, soft-hard, metric/ graph/ distribution based), ונעסוק במדדי הצלחה קלאסיים (silhouette, dunn index, DB index, Rand index) ובמדדי הצלחה תלויי בעיה.</span></p> <p><span style="font-weight:400;">קישורים רלוונטיים:</span></p> <ul> <li style="font-weight:400;"><a href="https://ieeexplore.ieee.org/stamp/stamp.jsp?arnumber=8412085" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Deep Learning Clustering</span></a></li> <li style="font-weight:400;"><a href="https://medium.com/@ODSC/assessment-metrics-for-clustering-algorithms-4a902e00d92d" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Clustering Metrics</span></a></li> <li style="font-weight:400;"><a href="https://www.youtube.com/watch?v=GM8L324MuHc&amp;list=PLqkckaeDLF4IDdKltyBwx8jLaz5nwDPQU&amp;index=3" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Clustering assisted labeling</span></a></li> </ul>

<p><span style="font-weight:400;">בפרק זה נעסוק באיך מפרשים מודלים ואיך מבינים את ההחלטות שלהם. תחום רחב זה נקרא Explainable artificial intelligence או Interpretable machine learning. בפרק נעסוק בטכניקות השונות שיש בתחום ובפרט ב ZF-NET, DeepDream, GradCam, Lime, Shap.</span></p> <p><span style="font-weight:400;">קישורים רלוונטיים:</span></p> <ul> <li style="font-weight:400;"><a href="https://christophm.github.io/interpretable-ml-book/"><span style="font-weight:400;">ספר אונלייני</span></a></li> <li style="font-weight:400;"><a href="https://dudeperf3ct.github.io/visualize/cnn/catsvsdogs/2018/12/02/Power-of-Visualizing-Convolution-Neural-Networks/#deep-dream"><span style="font-weight:400;">Visualizing CNN</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/1311.2901.pdf"><span style="font-weight:400;">ZFNet - Visualizing and Understanding Convolutional Networks</span></a></li> <li style="font-weight:400;"><a href="https://deepai.org/machine-learning-model/deepdream"><span style="font-weight:400;">DeepDream</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/1602.04938.pdf"><span style="font-weight:400;">Lime</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/1610.02391.pdf"><span style="font-weight:400;">GradCam</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/1704.02685.pdf"><span style="font-weight:400;">DeepLift</span></a></li> <li style="font-weight:400;"><a href="https://papers.nips.cc/paper/7062-a-unified-approach-to-interpreting-model-predictions.pdf"><span style="font-weight:400;">Shap</span></a></li> </ul>

<p><span style="font-weight:400;">בפרק זה נדבר על עיבוד טקסט בעברית, ונציג כיצד הוא שונה משפות אחרות, ובפרט מאנגלית. נשוחח על ה-NLP Pipeline ועל למה הוא שבור בעברית, ונדבר על התחביר של עברית והתכונות הייחודיות של שפות שמיות.</span></p> <p><span style="font-weight:400;"><a href="https://cs.biu.ac.il/staff/118" target="_blank" rel="noreferrer noopener">רעות צרפתי</a></span></p> <p><a href="https://cs.biu.ac.il/staff/106" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">יואב גולדברג</span></a></p> <p><a href="https://github.com/OnlpLab" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">המעבדה לעיבוד שפה טבעית בעברית</span></a></p> <p><a href="https://www.theverge.com/2020/6/11/21287966/openai-commercial-product-text-generation-gpt-3-api-customers" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">GPT</span></a></p> <p><a href="https://github.com/habeanf/yap" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">YAAP</span></a></p>

<p><span style="font-weight:400;">בפרק זה נדבר על כל ה-Multi's וננסה לעשות סדר במושגים שנוטים לבלבל:</span></p> <p><span style="font-weight:400;">multi class classification, multi label classification, multi task learning, Multi objective, Multiple modality.</span></p> <p><span style="font-weight:400;">נגדיר כל מושג, ניתן דוגמאות ונדון בסוגיות ומימושים סביב כל מושג. קישורים רלוונטיים:</span></p> <ul> <li style="font-weight:400;text-align:right;"><a href="https://ruder.io/multi-task/" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">https://ruder.io/multi-task/</span></a></li> </ul>

<h5><strong>בפרק זה נדבר על מהי Active Learning, כמה זה נפוץ ומתי ניתן לעשות זאת. נדבר על קריטריוני החלטה (Query Strategies):</strong></h5> <p><span style="font-weight:400;"> Least Confidence ,Margin Sampling ,Entropy Sampling ונזכיר את ההבדלים במתודולוגיות:<br /></span><span style="font-weight:400;">Membership Query Synthesis, Stream-Based Selective Sampling, Pool-Based Sampling.</span></p> <p>לסיום נדון ב-Active Learning כבעיית Reinforcement Learning.</p> <p><strong>קישורים רלוונטים\שהזכרנו:</strong></p> <ul> <li style="font-weight:400;"><a href="https://modal-python.readthedocs.io/en/latest/content/examples/Keras_integration.html" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">modAL</span></a></li> <li style="font-weight:400;"><a href="https://www.snorkel.org/" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Snorkel</span><span style="font-weight:400;"> </span></a></li> <li style="font-weight:400;"><a href="https://prodi.gy/" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Prodigy</span></a></li> <li style="font-weight:400;"><a href="https://www.datacamp.com/community/tutorials/active-learning" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Active Learning Tutorial</span></a></li> <li style="font-weight:400;"><a href="https://arxiv.org/pdf/2002.06583.pdf" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">REINFORCED ACTIVE LEARNING FOR IMAGE SEGMENTATION</span></a></li> </ul>

<h5><strong>בפרק זה נדבר על למידה חיזוקית - Reinforcement Learning.</strong></h5> <h5>נדבר על מושגי היסוד בתחום (environment, state, policy, agent, reward), על סיווג של התחום הזה ב-Machine Learning, על למה זה נהיה מאוד פופולארי, על הקשיים בתחום ועל דילמת ה-Exploration - Exploitation.</h5> <p><strong>קישורים שהוזכרו:</strong></p> <p><a href="https://openai.com/blog/emergent-tool-use/" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">שיתוף פעולה בין סוכנים במשחק המחבואים</span></a></p> <p><a href="https://deepmind.com/blog/article/capture-the-flag-science" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">שיתוף פעולה בין סוכנים במשחק תפוס את הדגל</span></a></p> <p><a href="https://youtu.be/2pWv7GOvuf0?list=PLqYmG7hTraZDM-OYHWgPebj2MfCFzFObQ" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">סדרת הרצאות של David Silver</span></a></p> <p><a href="https://deepmind.com/blog/article/Agent57-Outperforming-the-human-Atari-benchmark" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">Agent57 - מודל אחד שמשחק ברמה אנושית ב 57 משחקים</span></a></p> <p><a href="https://www.youtube.com/watch?v=7Er84QulUBs" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">BRETT- הרובוט שמרכיב לגו</span></a></p> <p><a href="http://www.mujoco.org/" target="_blank" rel="noreferrer noopener"><span style="font-weight:400;">MuJoCo מנוע המדמה את חוקי הפיסיקה</span></a></p>

<p style="text-align:right;"><strong>בפרק זה, נעסוק ב-Neural Network Pruning, </strong>כאשר נתקמד<strong> </strong><span style="font-weight:400;">בפרט במאמר פורץ דרך מ2019, שנקרא "THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE TRAINABLE NEURAL NETWORKS", מבית היוצר של MIT. </span></p> <p style="text-align:right;"><span style="font-weight:400;">במאמר זה, מציעים דרך מעניינת לקצץ רשת גדולה במעל 80% מהמשקלים שלה בצורה כזו שהביצועים (ה-accuracy) לא ייפגעו. קישורים שהוזכרו בפרק:</span></p> <ul> <li><a href="https://arxiv.org/pdf/1803.03635.pdf"><span style="font-weight:400;">THE LOTTERY TICKET HYPOTHESIS: FINDING SPARSE, TRAINABLE NEURAL NETWORKS</span></a></li> <li><a href="https://papers.nips.cc/paper/8618-deconstructing-lottery-tickets-zeros-signs-and-the-supermask.pdf"><span style="font-weight:400;">Deconstructing Lottery Tickets: Zeros, Signs, and the Supermask</span></a><span style="font-weight:400;"> </span></li> </ul>

<h4 style="text-align:right;padding-left:30px;"><strong>זהו פרק מבוא קצרצר בו אנו מספרים מי הוא תמיר נווה ומי הוא אורי גורן, למה החלטנו להתחיל עם הפודקאסט, ומה היינו רוצים שיהיה בפרקים הבאים.</strong></h4>