וו דאו
שגיאת לואה ביחידה יחידה:תבנית_מידע בשורה 261: תבנית תוכנה ריקה. ווּ דַאוֹ (בסינית: 悟道, פיניין: Wù dào, מילולית: "דרך התודעה", השם המלא בסינית: "悟道预训练模型" - "Wùdào yù xùnliàn móxíng")[1] הוא פיתוח סיני של בינה מלאכותית רב-מודאלית שנבנה על ידי האקדמיה לבינה מלאכותית של בייג'ינג (BAAI).
הגרסה הראשונה, וו דאו 1.0, הוכרזה ב-11 בינואר 2021[2][3][4]. גרסה משופרת, וו דאו 2.0, הוכרזה ב-31 במאי.[1][5] וו דאו הושווה ל GPT-3[6], והוא בנוי על ארכיטקטורה דומה. בעוד של GPT-3 יש 175 מיליארד פרמטרים, או משתנים ותשומות בתוך מודל למידת המכונה, לוו דאו יש 1.75 טריליון פרמטרים[7][8][9][10] (סדר גודל יותר). וו דאו הוכשר על 4.9 טרה-בייט של תמונות וטקסטים (שכללו 1.2 טרה-בייט של טקסט סיני ו-1.2 טרה-בייט של טקסט אנגלי)[9][11]. יו"ר BAAI אמר כי וו דאו הוא ניסיון "ליצור את מודל הבינה המלאכותית הגדול והחזק ביותר האפשרי"[7]. למרות שהשוואות ישירות בין מודלים המבוססות על ספירת פרמטרים (כלומר בין וו דאו ל-GPT-3) אינן מתואמות ישירות לאיכות[8]. וו דאו 2.0, כונתה "המערכת הגדולה ביותר עד כה של שפה בבינה מלאכותית"[4].
יוצריו של וו דאו הוכיחו את יכולתו לבצע עיבוד שפה טבעית וזיהוי תמונות, בנוסף ליצירת טקסט ותמונות[5]:
המודל יכול לא רק לכתוב חיבורים, שירים וצמדים בסינית מסורתית, הוא יכול גם ליצור טקסט חלופי המבוסס על תמונה סטטית וגם ליצור תמונות כמעט פוטוריאליסטיות המבוססות על תיאורי שפה טבעית. וו דאו גם הראה את היכולת שלו להפעיל דמויות וירטואליות (עם קצת עזרה מ- Microsoft- spinoff XiaoIce) ולחזות את המבנים התלת-ממדיים של חלבונים כמו AlphaFold[5].
היסטוריה
הפיתוח של Wu Dao החל באוקטובר 2020, מספר חודשים לאחר השחרור של GPT-3[1] במאי 2020. האיטרציה הראשונה של המודל, Wu Dao 1.0, "יזמה פרויקטי מחקר בקנה מידה גדול" באמצעות ארבעה מודלים קשורים[12] [13]:
- וו דאו ון-יואן (Wen Yuan) מודל שפה מאומן מראש של 2.6 מיליארד פרמטרים, תוכנן עבור משימות כמו מענה בדומיין פתוח, ניתוח סנטימנטים ותיקון דקדוק[12]
- וו דאו ון-לאן (Wen Lan) מודל גרפי מולטי-מודאלי של מיליארד פרמטרים, הוכשר על 50 מיליון זוגות תמונות, לביצוע כיתובי תמונה[12]
- וו דאו ון-חוי (Wen Hui) מודל שפה מחולל של 11.3 מיליארד פרמטרים, תוכנן עבור "בעיות חיוניות בבינה מלאכותית כללית מנקודת מבט קוגניטיבית"; Synced אומר שהוא יכול "ליצור שירה, ליצור סרטונים, לצייר תמונות, לאחזר טקסט, לבצע נימוקים מורכבים וכיוצא באלה"[12]
- וו דאו ון-סו (Wen Su) המבוסס על מודל השפה BERT של גוגל ואומן על מסד נתונים של 100 גיגה-בייט UNIPARC (כמו גם אלפי רצפי גנים), תוכנן עבור חיזוי מבנה ביו-מולקולרי ומשימות קיפול חלבון[12]
WuDaoCorpora
WuDaoCorpora, נכון לגרסה 2.0, היה מערך נתונים גדול שנבנה לאימון וו דאו 2.0. הוא מכיל 3 טרה-בייט של טקסט שנאסף מנתוני אינטרנט, 90 טרה-בייט של נתונים גרפיים (המשלבים 630 מיליון זוגות טקסט/תמונה), ו-181 ג'יגה-בייט של דיאלוג סיני (המשלב 1.4 מיליארד סבבי דיאלוג). Wu Dao 2.0 הוכשר באמצעות FastMoE, גרסה של תערובת הארכיטקטורה של מומחים שפותחה על ידיGoogle .ביוני 2021 נאמר ב-TheNextWeb כי "הפרטים לגבי האופן המדויק שבו וו דאו הוכשר, מה היה במערך הנתונים השונים שלו, ואיזה יישומים מעשיים ניתן להשתמש בהם נותרו עלומים". מנהל המדיניות של OpenAI כינה את וו דאו דוגמה ל"דיפוזיה של מודל", ניאולוגיזם המתאר מצב שבו ישויות מרובות מפתחות מודלים דומים לאלו של OpenAI.
הערות שוליים
- ^ 1.0 1.1 1.2 智源研究院 (11 בינואר 2021). "面向认知，智源研究院联合多家单位发布超大规模新型预训练模型"悟道·文汇"".
{{cite web}}: (עזרה) - ^ Bailey, Ronald (11 ביוני 2021). "Amazing New Chinese A.I.-Powered Language Model Wu Dao 2.0 Unveiled". Reason.
{{cite web}}: (עזרה) - ^ "Record-breaking AI model WuDao 2.0 unveiled in Beijing - China.org.cn". www.china.org.cn. 3 ביוני 2021.
{{cite web}}: (עזרה) - ^ 4.0 4.1 "Can A.I. help investors find the next hot technology? A number of companies are betting on it". Fortune.
- ^ 5.0 5.1 5.2 Tarantola, A. (2 ביוני 2021). "China's gigantic multi-modal AI is no one-trick pony". Engadget.
{{cite web}}: (עזרה) - ^ "WuDao 2.0, l'intelligenza artificiale cinese più potente di OpenAI e Google". www.lantidiplomatico.it.
- ^ 7.0 7.1 Greene, Tristan (3 ביוני 2021). "China's 'Wu Dao' AI is 10X bigger than GPT-3, and it can sing". TNW | Neural.
{{cite web}}: (עזרה) - ^ 8.0 8.1 June 2021, Nathaniel Mott 03. "China Says WuDao 2.0 AI Is an Even Better Conversationalist than OpenAI, Google". Tom's Hardware.
- ^ 9.0 9.1 Feng, Coco (2 ביוני 2021). "Beijing-funded AI language model tops Google and OpenAI in raw numbers". South China Morning Post.
{{cite web}}: (עזרה) - ^ PERÚ, NOTICIAS EL COMERCIO (3 ביוני 2021). "Wu Dao 2.0, el modelo de IA multimodal de aprendizaje profundo más grande del mundo | tecnología | | TECNOLOGIA". El Comercio Perú.
{{cite web}}: (עזרה) - ^ Heikkilä, Melissa (9 ביוני 2021). "Meet Wu Dao 2.0, the Chinese AI model making the West sweat". POLITICO.
{{cite web}}: (עזרה) - ^ 12.0 12.1 12.2 12.3 12.4 "China's GPT-3? BAAI Introduces Superscale Intelligence Model 'Wu Dao 1.0' | Synced". syncedreview.com. 23 במרץ 2021.
{{cite web}}: (עזרה) - ^ Schreiner, Maximilian. "Sprach-KI aus China: Wu Dao 2.0 ist zehnmal größer als GPT-3".
32551953וו דאו