למידה מולטי מודאלית עם ד״ר חן חג׳ג׳

מודלים מולטי-מודאלים הגיעו לקידמת הבמה לאחרונה עם מודלים כמו chatGPT, Whisper, Midjourney.
נדבר על האתגרים בשילוש מודלים חזותיים, טקסטואלים וגרפיים – כאשר המימדים שונים, המימדים שונים, ואיך מרוויחים מהשילוב הזה.
נדבר על cross modal learning – איך אפשר ללמד מודל אחד על סמך מודאליות של מודל אחר.