PaLM
PaLM (Pathways Language Model) הוא מודל שפה גדול המבוסס על טרנספורמר של 540 מיליארד פרמטרים שפותח על ידי Google AI.[1]
החוקרים הכשירו גם גרסאות קטנות יותר של PaLM, בהם 8 ו-62 מיליארד מודלים פרמטרים, כדי לבדוק את ההשפעות של קנה המידה של המודל.
PaLM מסוגל לבצע מגוון רחב של משימות, כולל חשיבה רגילה (אנ'), חשיבה אריתמטית, הסבר בדיחות, יצירת קוד ותרגום.[2][3][4] בשילוב עם הנחיה של פרומפטים, PaLM השיגה ביצועים טובים יותר באופן משמעותי על מערכי נתונים הדורשים חשיבה של מספר שלבים, כגון בעיות מילים ושאלות מבוססות לוגיקה.
הדגם הוכרז לראשונה באפריל 2022 ונשאר פרטי עד מרץ 2023, אז השיקה גוגל API עבור PaLM ועוד כמה טכנולוגיות.[5] ה-API זמין תחילה למספר מצומצם של מפתחים שמצטרפים לרשימת המתנה לפני פתיחתו לציבור.[6]
גוגל ו-DeepMind פיתחו גרסה של PaLM 540B בשם Med-PaLM המכווננת ומאומנת על נתונים רפואיים ועולה על דגמים קודמים במדדי תשובות לשאלות רפואיות.[7]
Med-PaLM הייתה הראשונה שהשיגה ציון עובר בשאלות רישוי רפואי בארצות הברית, ובנוסף לענות בצורה מדויקת הן על שאלות מרובות והן על שאלות פתוחות, היא גם מספקת נימוקים ומסוגלת להעריך את התשובות שלה.[8]
במאי 2023, גוגל הכריזה על PaLM 2 באירוע המרכזי השנתי של Google I/O.[9] הדיווח העדכני הוא כי PaLM 2 הוא דגם של 340 מיליארד פרמטרים שאומן על 3.6 טריליון פריטי מידע.[10]
אימון
PaLM מאומן מראש על מאגר מידע איכותי של 780 מיליארד פריטי מידע הכוללים משימות שונות של שפה טבעית ומקרי שימוש. מערך נתונים זה כולל דפי אינטרנט מסוננים, ספרים, מאמרי ויקיפדיה, מאמרי חדשות, קוד מקור המתקבל ממאגרי קוד פתוח ב-GitHub ושיחות מדיה חברתית. הוא מבוסס על מערך הנתונים המשמש לאימון מודל LaMDA של גוגל. החלק של השיחות מהמדיה החברתית במערך הנתונים מהווה 50% מהמאגר, מה שסייע למודל לשפר וללמוד יכולות שיחה טובות.
ראו גם
הערות שוליים
- ^ Narang, Sharan; Chowdhery, Aakanksha. "Pathways Language Model (PaLM): Scaling to 540 Billion Parameters for Breakthrough Performance". ai.googleblog.com (באנגלית). נבדק ב-17 במרץ 2023.
{{cite web}}: (עזרה) - ^ Anadiotis, George (12 באפריל 2022). "Google sets the bar for AI language models with PaLM". VentureBeat. נבדק ב-17 במרץ 2023.
{{cite web}}: (עזרה) - ^ Bastian, Matthias (5 באפריל 2022). "Google PaLM: Giant language AI can explain jokes". THE DECODER. נבדק ב-17 במרץ 2023.
{{cite web}}: (עזרה) - ^ "Google: Why Is No One Talking About PaLM (NASDAQ:GOOG) | Seeking Alpha". seekingalpha.com (באנגלית). 12 בדצמבר 2022. נבדק ב-17 במרץ 2023.
{{cite web}}: (עזרה) - ^ Vincent, James (14 במרץ 2023). "Google opens up its AI language model PaLM to challenge OpenAI and GPT-3". The Verge. נבדק ב-17 במרץ 2023.
{{cite web}}: (עזרה) - ^ Huffman, Scott; Woodward, Josh. "PaLM API & MakerSuite: an approachable way to start prototyping and building generative AI applications" (באנגלית). נבדק ב-17 במרץ 2023.
{{cite web}}: (עזרה) - ^ "MedPaLM: New Chatbots Will Soon Be Better Than Waiting For A Doctor". The Medical Futurist. 17 בינואר 2023. נבדק ב-17 במרץ 2023.
{{cite web}}: (עזרה) - ^ Matias, Yossi; Corrado, Greg (14 במרץ 2023). "Our latest health AI research updates". Google (באנגלית אמריקאית). נבדק ב-17 במרץ 2023.
{{cite web}}: (עזרה) - ^ Lardinois, Frederic (10 במאי 2023). "Google launches PaLM 2, its next-gen large language model". TechCrunch. ארכיון מ-10 במאי 2023. נבדק ב-10 במאי 2023.
{{cite web}}: (עזרה) - ^ Elias, Jennifer (16 במאי 2023). "Google's newest A.I. model uses nearly five times more text data for training than its predecessor". CNBC. נבדק ב-18 במאי 2023.
{{cite web}}: (עזרה)
36905527PaLM