שונות

למידה עמוקה מאפשרת סינכרון שפתיים מדויק בזמן אמת לאנימציה דו-ממדית חיה

למידה עמוקה מאפשרת סינכרון שפתיים מדויק בזמן אמת לאנימציה דו-ממדית חיה

שני חוקרים ב- Adobe Research ובאוניברסיטת וושינגטון הציגו מערכת אינטראקטיבית מבוססת-למידה עמוקה שלוקחת הופעות חיות מצד שחקנים ומייצרת שפת-סינכרון בזמן אמת לדמויות אנימציה דו-ממדיות.

המערכת מאפשרת חוויית אנימציה שונה בה הקהלים והשחקנים יכולים לקיים אינטראקציה זה עם זה תוך שהם רואים את הדופלגנגרים המצוירים שלהם מראים על גבי המסך.

קשורים: אמן תלת מימד יוצר אנימציה מדהימה המשווה פלנטה וגדלי ירח במערכת הסולארית שלנו

מהי אנימציה דו-ממדית חיה?

עוד בשנת 1997 בפרק משפחת סימפסון "The Itchy & Scratchy & Poochie Show", שאל הומר סימפסון בחדר של אנימטורים מצוירים האם פרק שיצרו ישודר בשידור חי.

שחקן קול ענה בצחוק: “מעט מאוד קריקטורות משודרות בשידור חי. זה עומס נורא על פרקי הידיים של האנימטורים. "

נראה כי של הומרוס היה חזון נבואי כמו בשנת 2019, אנימציה דו-מימדית חיה היא מדיום חדש ועוצמתי לפיו שחקנים יכולים לשחק בסצנה שתונפש באותו זמן על המסך.

הקריקטורה החיה הראשונה אי פעם, פרק של משפחת סימפסון, שודרה בשנת 2016. אחת הדוגמאות האחרונות למדיום ראתה את סטיבן קולבר מראיין אורחים מצוירים, כולל דונאל טראמפ, בתכנית המאוחרת.

אחר ראה את הדמות הראשית של ארצ'ר מדברת עם קהל בשידור חי ועונה על שאלות במהלך אירוע פאנל של ComicCon.

טכניקת האנימציה החיה משתמשת בתוכנת זיהוי פנים, מצלמות, ציוד הקלטה וטכניקות אנימציה דיגיטליות כדי ליצור אנימציה חיה הפועלת לצד סצנה ממשית.

למידת מכונה מאפשרת לכל זה לפעול בצורה חלקה עוד יותר ולהמשיך להשתפר.

סינכרון שפתיים חי

היבט מרכזי באנימציה דו-ממדית חיה הוא סינכרון שפתיים טוב. זה מאפשר לפיהם של דמויות אנימציה לנוע כראוי כשמדברים ומשקפים את הופעותיהם של שחקנים אנושיים.

לעומת זאת, סינכרון שפתיים גרוע, כמו דיבוב שפה גרוע, יכול לגרום או לשבור את הטכניקה על ידי הרס טבילה.

במאמר שפורסם מראש ב- arXiv, שני החוקרים ב- Adobe Research ובאוניברסיטת וושינגטון הציגו את המערכת האינטראקטיבית המבוססת על למידה עמוקה המייצרת באופן אוטומטי סינכרון שפתיים חי לדמויות מונפשות דו-ממדיות שכבות.

מערכת הרשת העצבית שפיתחו משתמשת במודל זיכרון ארוך טווח (LSTM).

כפי ש חקור בטכנולוגיה דוחות, מודל ה- LSTM של Li ו- Anneja הראה תוצאות כה מרשימות, עד שאדובי החליטה לשלב גרסה שלו בתוכנת Adobe Character Animator, שפורסמה בשנת 2018.

ניתן להשתמש במערכת להפחתה דרסטית של דרישות נתוני האימון עבור מודלים המיועדים לייצור שפת סנכרון בזמן אמת. יחד עם זאת, הוא מספק סנכרון שפתיים יעיל שאינו רחוק מדי מהאנימציה המסורתית - ומאפשר לאנימציה דו-מימדית להתעורר לחיים כמו שלא היה.


צפו בסרטון: התחדשות עוצמתית - שיפור בריאותי רב עוצמה - מוזיקה למדיטציה התחדשות (סֶפּטֶמבֶּר 2021).