הזיה (בינה מלאכותית)
בתחום הבינה המלאכותית (AI), הזיה או הזיה מלאכותית (נקראת גם קונפאבולציה[1] או אשליה[2]) היא תגובה שנוצרת על ידי AI המכילה מידע שקרי או מטעה המוצג כעובדה.[3][4] המונח הזה נלקח בצורה רופפת מהפסיכולוגיה האנושית, שבה הזיה כרוכה בדרך כלל בתפיסות שווא. עם זאת, יש הבדל מרכזי: הזיות AI קשורות לתגובות או אמונות לא מוצדקות ולא לחוויות תפיסתיות.[4]
לדוגמה, צ'אטבוט המופעל על ידי מודלים של שפות גדולות (LLMs), כמו ChatGPT, עשוי להטמיע טעויות אקראיות, שנשמעות סבירות בתוך התוכן שנוצר. חוקרים זיהו את הנושא הזה, ועד שנת 2023, אנליסטים העריכו שצ'אטבוטים הוזים עד 27% מהמקרים, עם טעויות עובדתיות ב-46% מהתגובות שלהם. זיהוי והפחתה של הזיות אלו מציבים אתגרים משמעותיים לפריסה מעשית ואמינות של LLMs בתרחישים בעולם האמיתי.[5][6][7] כמה חוקרים מאמינים שהמונח הספציפי "הזיית בינה מלאכותית" גורם להאנשה בלתי סבירה של מחשבים.[1]
מקור המונח
בתחילת שנות ה-2000, נעשה שימוש במונח "הזיה" בראייה ממוחשבת עם הקשר חיובי כדי לתאר את תהליך הוספת הפרטים לתמונה. לדוגמה, המשימה של יצירת תמונות פנים ברזולוציה גבוהה מקלט ברזולוציה נמוכה נקראת הזיית פנים.[8][9]
בסוף שנות ה-2010, המונח עבר שינוי סמנטי כדי לציין יצירת פלטים שגויים או טעויות עובדתית על ידי מערכות AI במשימות כמו תרגום או זיהוי אובייקטים.[8] לדוגמה, בשנת 2017, חוקרי גוגל השתמשו במונח כדי לתאר את התגובות שנוצרו על ידי מודלים של תרגום מכונה עצבית (NMT) כאשר הן אינן קשורות לטקסט המקור,[10] ובשנת 2018, המונח שימש בראייה ממוחשבת לתיאור מקרים שבהם אובייקטים שאינם קיימים מזוהים בטעות בגלל התקפות יריבות.
המונח "הזיות" בבינה מלאכותית זכה להכרה רחבה יותר במהלך בום הבינה המלאכותית, לצד השקת צ'אטבוטים בשימוש נרחב המבוססים על מודלים של שפה גדולה (LLMs). ביולי 2021, Meta הזהירה במהלך שחרורו של BlenderBot 2 כי המערכת מועדת ל"הזיות", שמטא הגדירה כ"הצהרות בטוחות שאינן נכונות".[11][12] לאחר שחרורו של ChatGPT של OpenAI בגרסת בטא בנובמבר 2022, חלק מהמשתמשים התלוננו שצ'אטבוטים כאלה מטמיעים לעיתים קרובות טעויות אקראיות שנשמעות סבירות בתוך התוכן שנוצר.[13] כלי חדשות רבים, כולל הניו יורק טיימס, החלו להשתמש במונח "הזיות" כדי לתאר את התגובות השגויות או הבלתי עקביות של המודל הזה מדי פעם.[14]
בשנת 2023, כמה מילונים עדכנו את ההגדרה שלהם להזיה כדי לכלול משמעות חדשה ספציפית לתחום הבינה המלאכותית.[3]
בעיבוד שפה טבעית
בעיבוד שפה טבעית, הזיה מוגדרת לעיתים קרובות כ"תוכן שנוצר שנראה עובדתי אך אינו מבוסס".[15] ישנן דרכים שונות לסווג הזיות. בתלות האם הפלט סותר את המקור או שלא ניתן לאמת אותו מהמקור, ההזיות מחולקות למקוריות וחיצוניות, בהתאמה.[4] בתלות האם הפלט סותר את ההנחיה או לא, ניתן לחלק את ההזיות להזיות תחום-סגור והזיות תחום-פתוח בהתאמה.
גורמים
ישנן מספר סיבות לכך שמודלים של שפה טבעית הוזים נתונים.[4]
הזיות מנתונים
הסיבה העיקרית להזיה מהנתונים היא התבדלות מקור-הפניה. סטייה זו מתרחשת 1) כתוצר-לוואי של איסוף נתונים היוריסטיים או 2) עקב האופי של כמה משימות NLG המכילות בהכרח סטייה כזו. כאשר מודל מאומן על נתונים עם סטייה ממקור-הפניה (יעד), ניתן לעודד את המודל ליצור טקסט שאינו בהכרח מבוסס ואינו נאמן למקור שסופק.[4]
הזיה מהמודל
הוכח שהזיות הן תוצר לוואי בלתי נמנע מבחינה סטטיסטית של כל מודל ג'נרטיבי לא מושלם שאומן למקסם את הסבירות לאימון, כגון GPT-3, ודורש להימנע מלמידה אקטיבית (כגון למידת חיזוק ממשוב אנושי). מחקר אחר נוקט בפרספקטיבה אנתרופומורפית ומעמיד הזיות כנובעות מבעיית איזון בין חדשנות ושימושיות. לדוגמה, תרזה אמביל ופרט מגדירים את היצירתיות האנושית כייצור של רעיונות חדשניים ושימושיים.[16] התמקדות בחדשנות ביצירתיות של מכונה יכולה להוביל לייצור של תגובות מקוריות אך לא מדויקות, כלומר שקר, בעוד שהתמקדות בתועלת יכולה לגרום לתגובות בלתי יעילות שנשמעות כאילו שוננו בעל פה.[17]
שגיאות בקידוד ופענוח בין טקסט לייצוגים עלולות לגרום להזיות. כאשר מקודדים לומדים את המתאמים השגויים בין חלקים שונים של נתוני האימון, זה עלול לגרום לדור שגוי החורג מהקלט. המפענח לוקח את הקלט המקודד מהמקודד ומייצר את רצף היעד הסופי. שני היבטים של פענוח תורמים להזיות. ראשית, מפענחים יכולים לטפל בחלק הלא נכון של מקור הקלט המקודד, מה שמוביל ליצירה שגויה. שנית, עיצוב אסטרטגיית הפענוח עצמו יכול לתרום להזיות. אסטרטגיית פענוח המשפרת את גיוון הדור, כגון דגימה של top-k, נמצאת בקורלציה חיובית עם הזיה מוגברת.[דרוש מקור][ <span title="This claim needs references to reliable sources. (March 2024)">צריך ציטוט</span> ]
הערות שוליים
- ^ 1.0 1.1 Edwards, Benj (6 באפריל 2023). "Why ChatGPT and Bing Chat are so good at making things up". Ars Technica (באנגלית אמריקאית). נבדק ב-11 ביוני 2023.
{{cite news}}: (עזרה) שגיאת ציטוט: תג<ref>בלתי־תקין; השם "ars making things up" הוגדר כמה פעמים עם תוכן שונה - ^ "Shaking the foundations: delusions in sequence models for interaction and control". www.deepmind.com. 22 בדצמבר 2023.
{{cite web}}: (עזרה) - ^ 3.0 3.1 "Definition of HALLUCINATION". www.merriam-webster.com (באנגלית). 2023-10-21. נבדק ב-2023-10-29. שגיאת ציטוט: תג
<ref>בלתי־תקין; השם "Merriam-Webster2023" הוגדר כמה פעמים עם תוכן שונה - ^ 4.0 4.1 4.2 4.3 4.4 Ji, Ziwei; Lee, Nayeon; Frieske, Rita; Yu, Tiezheng; Su, Dan; Xu, Yan; Ishii, Etsuko; Bang, Yejin; Dai, Wenliang; Madotto, Andrea; Fung, Pascale (בנובמבר 2022). "Survey of Hallucination in Natural Language Generation" (pdf). ACM Computing Surveys. Association for Computing Machinery. 55 (12): 1–38. arXiv:2202.03629. doi:10.1145/3571730. נבדק ב-15 בינואר 2023.
{{cite journal}}: (עזרה) שגיאת ציטוט: תג<ref>בלתי־תקין; השם "axiv" הוגדר כמה פעמים עם תוכן שונה - ^ Leswing, Kif (14 בפברואר 2023). "Microsoft's Bing A.I. made several factual errors in last week's launch demo". CNBC (באנגלית). נבדק ב-16 בפברואר 2023.
{{cite news}}: (עזרה) - ^ Metz, Cade (6 בנובמבר 2023). "Chatbots May 'Hallucinate' More Often Than Many Realize". The New York Times.
{{cite news}}: (עזרה) - ^ de Wynter, Adrian; Wang, Xun; Sokolov, Alex; Gu, Qilong; Chen, Si-Qing (2023-07-13). "An evaluation on large language model outputs: Discourse and memorization". Natural Language Processing Journal. 4. arXiv:2304.08637. doi:10.1016/j.nlp.2023.100024. ISSN 2949-7191.
- ^ 8.0 8.1 "AI Hallucinations: A Misnomer Worth Clarifying". arxiv.org. נבדק ב-2024-04-02. שגיאת ציטוט: תג
<ref>בלתי־תקין; השם "arxiv.org2024" הוגדר כמה פעמים עם תוכן שונה - ^ "Face Hallucination". people.csail.mit.edu. נבדק ב-2024-04-02.
- ^ "Hallucinations in Neural Machine Translation". research.google. נבדק ב-2024-04-02.
- ^ "Blender Bot 2.0: An open source chatbot that builds long-term memory and searches the internet". ai.meta.com (באנגלית). נבדק ב-2024-03-02.
- ^ Tung, Liam (8 באוגוסט 2022). "Meta warns its new chatbot may forget that it's a bot" (באנגלית). ZDNET. נבדק ב-30 בדצמבר 2022.
{{cite news}}: (עזרה) - ^ Seife, Charles (13 בדצמבר 2022). "The Alarming Deceptions at the Heart of an Astounding New Chatbot". Slate. נבדק ב-16 בפברואר 2023.
{{cite news}}: (עזרה) - ^ Weise, Karen; Metz, Cade (2023-05-01). "When A.I. Chatbots Hallucinate" (באנגלית אמריקאית). ISSN 0362-4331. נבדק ב-2023-05-08.
{{cite journal}}: Cite journal requires|journal=(עזרה) - ^ Tonmoy, S. M. Towhidul Islam; Zaman, S. M. Mehedi; Jain, Vinija; Rani, Anku; Rawte, Vipula; Chadha, Aman; Das, Amitava (2024-01-08), A Comprehensive Survey of Hallucination Mitigation Techniques in Large Language Models, arXiv:2401.01313
- ^ Amabile, Teresa M.; Pratt, Michael G. (2016). "The dynamic componential model of creativity and innovation in organizations: Making progress, making meaning". Research in Organizational Behavior. 36: 157–183. doi:10.1016/j.riob.2016.10.001.
- ^ Mukherjee, Anirban; Chang, Hannah H. (2023). "Managing the Creative Frontier of Generative AI: The Novelty-Usefulness Tradeoff". California Management Review.
38722427הזיה (בינה מלאכותית)