אוספים

ה- GPT2 של OpenAI כותב כעת תקצירי נייר מדעיים

ה- GPT2 של OpenAI כותב כעת תקצירי נייר מדעיים

OpenAI יצרה את GPT2 מוקדם יותר השנה - המהווה "מודל שפה בקנה מידה גדול ללא פיקוח המייצר פסקאות טקסט קוהרנטיות", בהתאם לדף הבלוג של OpenAI. רשת עצבית שנאי מדהימה זו יוצרת פסקאות שלמות מילה אחת בכל פעם.

בתפנית אירועים מהנה ומסקרנת החליט ד"ר ג'יימס האוורד, חניך קרדיולוגיה באימפריאל קולג 'בלונדון, בריטניה, לבדוק את יכולותיו המדעיות של GPT2.

ד"ר האוורד החליט להנחות את GPT2 בכותרות מדעיות אקראיות וצפה בזמן שהוא כותב תקצירים מול עיניו. ד"ר האוורד שיתף אז את תגובותיו באמצעות טוויטר.

קשורים: אופי פשוט שוחרר אפילו אלגוריתם מזויף יותר מזויף.

הנה מה שה- GPT2 הצליח ליצור

ד"ר האוורד הכשיר מחדש את GPT2 במאגר Pubmed / MEDLINE - מאגר מדעי עם מעל 30 מיליון ציטוטי ספרות ביו-רפואיים. המשמעות היא שכאשר ד"ר האוורד סיפק את הכותרות המדעיות שלו, הרשת העצבית שנאי הצליחה להגיב במונחים מדעיים.

זה הסב את ד"ר האוורד 24 שעות להכשיר מחדש את GPT2 בדרך זו.

מה שד"ר האוורד, שלא ייאמן, קיבל בתגובה היו תקצירים רפואיים תמציתיים שהיו מובנים היטב ומעוררים מחשבה. להלן כמה מהתמציות לעיון שלך.

מילת אזהרה מאת ד"ר הווארד:

יצרתי מפלצת. אימנתי מחדש את רשת העצבים שנאי ה- GPT2 של OpenAI ב- מאגר המידע של Pubmed / MEDLINE, כך שאם אתן לו כותרת מאמר, זה יורק עבורי תקציר. לא לימדתי את זה איך לבנות תקציר, כמה זמן זה או כל דבר מהלשון.

- ג'יימס האוורד (@DrJHoward) 26 באוקטובר 2019

בכל אחת מצילומי המסך למטה, השורה העליונה מציגה את הכותרת שסיפקתי לרשת, וכל מה שמתחתיו הוא עבודת הרשת. זה לוקח בערך 30 שניות ליצור תקציר, אם כי לקח יותר מ 24 שעות של הכשרת הרשת כדי להעלות אותו לרמה זו.

- ג'יימס האוורד (@DrJHoward) 26 באוקטובר 2019

התקציר הראשון:

ראשית, ניסיתי לתת לו כותרת לניסוי אקראי מבוקר. נראה ש- _bit_ לא סביר להשוות בין עצבנות הכליות לבין אפיקסבן בגלל יתר לחץ דם. באופן מרתק, הוא התנדב לנתוני רישום ניסויים קליניים בסוף התקציר. pic.twitter.com/Z9794BpgdJ

- ג'יימס האוורד (@DrJHoward) 26 באוקטובר 2019

השני:

לאחר מכן נתתי לו כותרת למטה-אנליזה. ברור שהכותרת שבחרתי היא מגוחכת, אבל רציתי לראות מה זה עשה. באופן מדהים, היא החליטה להכניס אסטרטגיית חיפוש למקטע השיטות. זה גם מספק סיכונים יחסית, אם כי הבחירה בקנה מידה שונה של Rankin ... pic.twitter.com/Vjp6fhlFW2

- ג'יימס האוורד (@DrJHoward) 26 באוקטובר 2019

השלישי:

חשבתי שאנסה משהו שיש לי ניסיון מועט במיוחד איתו: ניתוח עלות-תועלת. המסקנה אמנם עשויה להיות נכונה, אבל אני לא בטוח שהיא מעבירה בצורה נאותה את ממצאי המחקר ... אני כן נהנה מאיך שהמשמעות תואמת את ערכי p (> לעומת <0.05). pic.twitter.com/5rXlTUh8Hr

- ג'יימס האוורד (@DrJHoward) 26 באוקטובר 2019

GPT2 פשוט ממשיך לתת:

לבסוף חשבתי שאנסה משהו תבערה. מתברר ששכיחות השימוש בסמים בקרב קרדיולוגים מבוגרים היא 71%! וזה בטח נכון, הם השתמשו בווקטורים עצמיים! סליחה על ההשמצות, עמיתיי מדרום אמריקה. pic.twitter.com/j700yVryve

- ג'יימס האוורד (@DrJHoward) 26 באוקטובר 2019

זה די מדהים - אם אולי קצת מדאיג - מה השנאי של OpenAI הצליח לעשות, וכיצד ניתן היה להכשירו מחדש בזמן כה קצר.

אני מקווה שמצאת את זה מעניין. אני שמח לספק דוגמאות נוספות אם אנשים רוצים לתת לי כותרות. אני יכול לנסות לגרום לרשת העצבית לעבוד באופן מקוון כמו שעשיתי עבור קוצבי לב (https://t.co/CMnspA0N8R) - אם כי דרישות החומרה לכך הן הרבה יותר תלולות!

- ג'יימס האוורד (@DrJHoward) 26 באוקטובר 2019

ד"ר האוורד היה מאוד פתוח ושקוף לגבי התרחשויות המסקרנות הללו, ואתה יכול לנסות בעצמך כאן איפה אתה 'מדבר' עם השנאי בעצמך.


צפו בסרטון: Apps are dead.. whats the next big thing? (יָנוּאָר 2022).