הסברתיות בינה מלאכותית

מתוך המכלול, האנציקלופדיה היהודית
קפיצה לניווט קפיצה לחיפוש
מודל הקופסה השחורה בלמידת מכונה. המודל מתאר את חוסר ההבנה של מפתחי ומשתמשי הבינה המלאכותית בנוגע לאופן פעולתה, לסיבות להחלטותיה ולכוונותיה.

הַסְבָּרָתִיּוּת בינה מלאכותית (באנגלית: Explainable AI או XAI) היא אוסף של שיטות שנועדו לאפשר למשתמש אנושי אשר מנטר מערכת שכוללת יכולות בינה מלאכותית לבצע את תפקידו באופן מושכל[1]. ההתמקדות העיקרית בשיטות אלו היא על שיקוף ההיגיון מאחורי ההחלטות או התחזיות שנעשו על ידי הבינה המלאכותית[2], על מנת שיהיו מובנות ושקופות יותר[3]. הסברתיות בינה מלאכותית עומדת אל מול דימוי "הקופסה השחורה" של למידת מכונה, שבה אפילו מתכנני הבינה המלאכותית אינם יכולים להסביר מדוע הגיעה להחלטה מסוימת[4][5].

מטרת גישה זו היא לעזור למשתמשים במערכות המופעלות על ידי בינה מלאכותית להגיע לביצועים יעילים יותר, על ידי שיפור ההבנה שלהם לגבי האופן שבו מערכות אלו מסיקות מסקנות[6]. הסברתיות בינה מלאכותית עשויה לשמש כיישום של הזכות החברתית להסבר[7]. גם אם אין זכות חוקית או דרישה רגולטורית כזו, הסברתיות בינה מלאכותית עשויה לשפר את חווית המשתמש של מוצר או שירות על ידי סיוע למשתמשי קצה לסמוך במידה המתאימה על כך שהבינה המלאכותית מחליטה החלטות טובות. הסברתיות בינה מלאכותית שואפת להסביר מה נעשה בעבר, מה נעשה כעת ומה ייעשה בהמשך, כמו גם לחשוף על איזה מידע פעולות אלו מבוססות[8]. גישה זו מאפשרת לאשש ידע קיים, לערער על ידע קיים ולייצר הנחות חדשות[9].

אלגוריתמים של למידת מכונה אשר משמשים בבינה מלאכותית יכולים להיות מסווגים כ"קופסה לבנה" או "קופסה שחורה"[10]. אלגוריתמים מסוג מודל של קופסה לבנה מספקים תוצאות אשר מובנות למומחים בתחום. מודלים של קופסה שחורה, לעומת זאת, קשים מאוד להסבר ובקושי ניתנים להבנה אפילו על ידי מומחים בתחום[11]. אלגוריתמי הסברתיות בינה מלאכותית עוקבים אחר שלושת העקרונות של שקיפות, פָּרְשַׁנָתִּיּוּת והסברתיות. מודל נחשב שקוף אם התהליכים שמחלצים את הפרמטרים שלו מנתוני האימון ומייצרים תוויות מנתוני הבדיקה יכולים להיות מתוארים על ידי המְפַתֵּחַ[12]. פרשנתיות (באנגלית: Interpretability) מתארת את האפשרות להבין את מודל למידת המכונה ולהציג את הבסיס שלו להחלטות בצורה מובנת לבני אדם[13][14][15]. הסברתיות הוא מושג שחשיבותו מוכרת, אך אין עבורו הגדרה מקובלת[12]. אפשרות אחת היא "אוסף התכונות של התחום שניתן לפירוש שתרמו, למשל, להפקת החלטה (למשל, סיווג או רגרסיה)"[16]. אם אלגוריתם ממלא את העקרונות הללו, הוא מהווה בסיס להצדקת החלטותיו, לעקיבה אחריו ובכך לאמת אותו, לשיפור האלגוריתם ולחקר עובדות חדשות[17].

יש מקרים שבהם ניתן להגיע לתוצאה בעלת דיוק גבוה עם אלגוריתמי קופסה לבנה של למידת מכונה. לאלגוריתמים אלה יש מבנה שניתן לפרש ושהשימוש בו אפשרי כדי להסביר את תחזיותיו[18]. מודלים מסוג צוואר בקבוק של מושג, אשר משתמשים בהפשטות ברמת המושג כדי להסביר חשיבה של מודל, הם דוגמאות לכך וניתן ליישם אותן במשימות חיזוי תמונה[19] וטקסט[20]. יכולת זו להסבר של מודלים חשובה במיוחד בתחומים כמו רפואה, ביטחון, כספים ומשפטים, שבהם יש חשיבות מכרעת להבנת החלטות ולבניית אמון באלגוריתמים.[8] חוקרים רבים טוענים שלפחות עבור למידת מכונה מפוקחת, הדרך להתקדם לעבר הסברתיות היא רגרסיה סימבולית, שבה האלגוריתם מחפש במרחב של ביטויים מתמטיים כדי למצוא את המודל המתאים ביותר למערך נתונים נתון[21][22][23].

מערכות בינה מלאכותית מייעלות את ההתנהגות כדי לספק מערכת יעדים מוגדרת מתמטית, שהוגדרה על ידי מתכנני המערכת, כגון הפקודה "שאף למרב הדיוק בהערכה של מידת החיוביות של ביקורות סרטים במערך הבדיקה". הבינה המלאכותית עשויה ללמוד כללים שימושיים ממערך הבדיקות, כגון "ביקורות אשר מכילות את המילה "נורא" צפויות להיות שליליות." עם זאת, היא עשויה ללמוד כללים לא הולמים, כגון "ביקורות המכילות 'דניאל דיי לואיס' הן בדרך כלל חיוביות". חוקים כאלה עשויים להיות בלתי רצויים במידה והם צפויים להיכשל בהכללה מחוץ למערך האימונים, או אם אנשים מחשיבים את הכלל כ"רמאות" או כ"לא הוגן". אדם יכול לבקר חוקי הסברתיות בינה מלאכותית כדי להבין את מידת הסיכוי שהמערכת תכליל ביחס לנתונים עתידיים בעולם האמיתי מחוץ לקבוצת הבדיקות[24].

מטרות

שיתוף פעולה בין סוכנים - במקרה זה, אלגוריתמים ובני אדם - תלוי באמון. על מנת שבני אדם יקבלו את המלצת האלגוריתם, הם צריכים לסמוך עליו. שקיפות, פרשנתיות והסברתיות הן יעדי ביניים בדרך לקריטריון אמון מקיף יותר[25]. האמון באלגוריתם רלוונטי במיוחד ברפואה[26], במיוחד כשמדובר במערכות תמיכה להחלטות קליניות (CDSS), שבפעולה איתן אנשי מקצוע רפואיים צריכים להיות מסוגלים להבין כיצד ומדוע המערכת החליטה כפי שעשתה כדי לסמוך על ההחלטה[27].

מערכות בינה מלאכותית לומדות לפעמים רצפי פעולה לא רצויים אשר עומדים באופן אופטימלי ביעדים מפורשים מתוכנתים מראש בנתוני האימון, אך אינם משקפים את הרצונות המרומזים יותר של מתכנני המערכת או את המורכבות המלאה של כלל הנתונים בתחום. לדוגמה, מערכת משנת 2017 שנועדה לזיהוי תמונות למדה "לרמות" על ידי חיפוש אחר תווית של זכויות יוצרים שנקשרה במקרה לתמונות סוסים במקום ללמוד כיצד לזהות האם אכן מופיע סוס בתמונה[5]. במערכת אחרת משנת 2017, בינה מלאכותית שמשימתה לאחוז פריטים בעולם וירטואלי למדה "לרמות" על ידי הצבת ה"יד" שלה בין הפריט לצופה בצורה כזו שנדמה שהיא תופסת את אותו פריט[28].

פרויקט השקיפות DARPA XAI שואף לייצר דגמי "קופסת זכוכית" אשר ניתנים להסבר לאדם שבחוג מבלי להקריב במידה רבה את ביצועי הבינה המלאכותית. משתמשים אנושיים של מערכת כזו יוכלו להבין את תהליכי החשיבה של הבינה המלאכותית (הן בזמן אמת והן לאחר מעשה) ויוכלו לקבוע אם לסמוך על הבינה המלאכותית[29]. יישומים נוספים של הסברתיות בינה מלאכותית הם מיצוי ידע מדגמי קופסה שחורה והשוואות מודלים[30]. בהקשר של אתיקה חברתית-משפטית, המונח "קופסת זכוכית" מתייחס לכלים שעוקבים אחר התשומות והתפוקות של המערכת המדוברת ואשר מספקים הסברים ערכיים להתנהגותם. כלים אלו נועדו להבטיח שהמערכת פועלת בהתאם לסטנדרטים אתיים ומשפטיים, ושתהליכי קבלת ההחלטות שלה יהיו שקופים ואחראיים. המונח "קופסת זכוכית" משמש לעיתים קרובות בניגוד למערכות "קופסה שחורה", שנעדרות שקיפות ויכולות להיות קשות יותר לניטור ולוויסות[31]. המונח משמש גם ככינוי לעוזר קולי שמפיק הצהרות אשר נוגדות עֻבְדּוֹת כהסברים[32].

הסברתיות לעומת פרשנתיות

קיים הבדל בין המונחים הסברתיות ופָּרְשַׁנָתִּיּוּת בהקשר של בינה מלאכותית[33][34].

  • הסברתיות - מידת ההבנה כיצד פועלת הטכנולוגיה שבבסיס המערכת.
  • פרשנתיות - מידת ההבנה כיצד מערכת מבוססת בינה מלאכותית הגיעה לתוצאה מסוימת.

היסטוריה ושיטות

בין שנות ה-70 וה-90 של המאה ה-20, מערכות בינה מלאכותית סימבוליות, כגון ה-MYCIN[35], ה-GUIDON[36], ה-SOPHIE[37] וה-PROTOS[38][39] היו מסוגלות לייצג, לנמק ולהסביר את הנימוקים שלהם למטרות אבחון, הדרכה, או למטרות למידת מכונה. מערכת MYCIN, שפותחה בתחילת שנות ה-70 כאב טיפוס מחקרי לאבחון זיהומים במחזור הדם, יכלה להסביר[40] אילו מהכללים שקודדו באופן ידני תרמו לאבחנה במקרה מסוים. מחקר בנושא מערכות חניכה חכמות הביא לפיתוח מערכות כגון SOPHIE, אשר נתנה הסברים על אסטרטגיית פתרון בעיות ברמה שתלמיד יוכל להבין, כדי שיוכל להחליט באיזו פעולה לנקוט בהמשך. לדוגמה, SOPHIE יכלה להסביר את ההיגיון האיכותי מאחורי פתרון בעיות בתחום האלקטרוניקה. באופן דומה, המערכת GUIDON יצרה כללי הדרכה על מנת להסביר את אסטרטגיה לאבחון רפואי. גישות סימבוליות ללמידת מכונה אשר נשענות על למידה מבוססת הסברים, כגון PROTOS, עשו שימוש בייצוגים מפורשים של הסברים שהובעו בשפת הסבר ייעודית, הן כדי להסביר את פעולותיהן והן כדי לרכוש ידע חדש[39].

בין ה-80 וה-90 מערכות תחזוקת היגיון (TMS) הרחיבו את היכולות של מערכות הסקה סיבתיות[41]. מערכות כאלה עוקבות אחר חלופות של הנמקה וסתירות אפשריות, כדי לאפשר בעתיד הסברים מניחים את הדעת, אשר נמנעים מסתירות כאלה.

בשנות ה-90 של המאה ה-20 החלו חוקרים לבחון האם ניתן לחלץ בצורה משמעותית כללים שאינם מקודדים באופן ידני אלא נוצרו על ידי רשתות עצביות מלאכותיות[42]. חוקרים ביקשו לפתח הסברים דינמיים, אשר מאפשרים לטכנולוגיות אלו להיות מהימנות ואמינות יותר בפועל[7]. בעשור השני של המאה ה-21 תשומת הלב הגוברת כלפי הטיות בשימוש בבינה מלאכותית לצורך החלטות בנושאי ענישה פלילית ורמת האשראי החלה להוביל לביקוש מוגבר להסברתיות בינה מלאכותית[5]. כתוצאה מכך, אקדמאים וארגונים רבים החלו לפתח כלים שיעזרו לזהות הטיות במערכות כאלו[43].

מרווין מינסקי העלה עם שותפיו את הרעיון שבינה מלאכותית יכולה לתפקד כראוי למרות ההטיות הגלומות בה והציע את המושג "אינטליגנציה הומניסטית", כדרך ליצור בינה מלאכותית הוגנת ומאוזנת יותר וזאת בעזרת אדם בחוג[44].

טכניקות בינה מלאכותית מודרניות מורכבות, כגון למידה עמוקה ואלגוריתמים גנטיים, הן אינן שקופות מטבען[45]. כדי לטפל בבעיה זו, פותחו שיטות להפיכת מודלים כאלו לניתנים להסבר ולפירוש[13][14][46][47][48][49]. שיטה אחת כזו היא התפשטות רלוונטיות שכבתית (LRP), טכניקה אשר משמשת לקבוע אילו תכונות בקלט מסוים תורמות בצורה החזקה ביותר לפלט של רשת עצבית[50][5]. שיטות אחרות מסבירות חיזוי מסוים שנעשה על ידי מודל קופסה שחורה, גישה אשר מכונה "פירושיות מקומית"[51][52][53][54][55][56].

בשנים האחרונות קיימת פעילות לפיתוח מודלים שקופים יותר, אשר ניתנים לבדיקה[18][57]. הפעילות כוללת עצי החלטה[58], רשתות בייסיאניות, מודלים ליניאריים[59] ועוד[60]. ועידת האגודה למכונות מחשוב בנושא הגינות, אחריות ושקיפות (ACM FAccT) נוסדה בשנת 2018 כדי ללמוד על שקיפות והסברתיות בהקשר של מערכות סוציו-טכניות, שרבות מהן כוללות בינה מלאכותית[61].

טכניקות מסוימות מאפשרות הדמיה של הקלט שאליו מגיבים נוירוני תוכנה בודדים בצורה החזקה ביותר. מספר קבוצות מצאו שניתן לצבור נוירונים למעגלים אשר מבצעים פונקציות הניתנות להבנה של האדם, שחלקם נוצרים באופן מהימן על פני רשתות שונות אשר מאומנות באופן עצמאי[62][63].

קיימות טכניקות שונות לחילוץ ייצוגים דחוסים של תכונות של קלט מסוים, אשר לאחר מכן ניתן לנתח על ידי שיטות ניתוח אשכולות. לחלופין, ניתן לאמן רשתות להפקת הסברים לשוניים על התנהגותן, אשר לאחר מכן ניתנים לפירוש אנושי באופן ישיר[64]. ניתן להסביר התנהגות מודל גם בהתייחס לנתוני אימון - לדוגמה, על ידי הערכת אילו קלטי אימון השפיעו הכי הרבה על התנהגות נתונה[65].

נעשה שימוש בהסברתיות בינה מלאכותית בחקר כאב, במיוחד בהבנת תפקידה של פעילות מוליכות עורית לזיהוי כאב באופן אוטומטי. תכונות אשר מחולצות באופן ידני ומודלים של למידה עמוקה בזיהוי כאב מדגישים את התובנה שתכונות פשוטות אשר מופקות ידנית יכולות להיות שקולות למודלים של למידה עמוקה. הן גישות מסורתיות (ידניות) של הפקת תכונות והן גישות למידה עמוקה להפקת תכונות מסתמכות על מאפיינים פשוטים של נתוני הקלט של סדרות עתיות[66].

ההסברתיות עשויה להתמקד בהיבט צר ומסוים מתוך נתוני הקלט בתרחיש. הסברים כאלה נקראים הסברים מקומיים. לעומתם, הסברים שעוסקים בהיבטים של מדיניות האלגוריתם, אשר להם השלכות רוחביות על תוצרים רבים של המערכת, נקראים הסברים גלובליים.

ממשק למשתמש

על מנת שמידע של הסברתיות יגיע אל המשתמש האנושי במערכת, נעשה שימוש בממשק המשתמש במערכת ובייחוד בתצוגות המערכת. לרוב, תצוגות שמיועדות לספק הסברתיות כוללות סוגי החזיית מידע (ויזואליזציה) שונים. עבור אלגוריתמי ראייה ממוחשבת שימושיים במיוחד מפות חום וגרפים מסוגים שונים. במערכות שעוסקות בעיקר בנתונים כמותיים לרוב נעשה שימוש בטבלאות כמו גם בגרפים, בעוד שבמערכות עיבוד שפה טבעית לרוב ננקטים הסברים מילוליים[67].

LIME ו־SHAP הם כלים כלליים, מוכנים מראש, אשר מיועדים לספק הסברתיות למשתמש ומתאימים בעיקר לצורכי מפתחי אלגוריתמי בינה מלאכותית. SHAP משמש בעיקר לשיקוף התרומה היחסית של כל רכיב לפלט הסופי[68] ואילו LIME מתאים למודל המקורי מודל מקומי, פשוט יותר ואשר ניתן להסבירו בקלות[69].

תקנות

מאחר שקובעי תקנות, גופים רשמיים ומשתמשים כלליים מתחילים להיות תלויים במערכות דינמיות מבוססות בינה מלאכותית, נדרשת שקיפות בתהליכי החלטות אוטומטיים כדי לייצר אמון בהם במידה המתאימה. הוועידה העולמית הראשונה שהוקדשה בלעדית לתחום המתהווה הזה הייתה הכנס הבינלאומי המשותף לשנת 2017 בנושא בינה מלאכותית: סדנה בנושא הסברתיות בינה מלאכותית[70].

האיחוד האירופי הציג את הזכות להסבר (GDPR) כדי לטפל בבעיות אפשריות שנובעות מהעלייה בחשיבותם של אלגוריתמים. יישום תקנות אלה החל בשנת 2018. עם זאת, הזכות להסבר ב-GDPR מכסה רק את ההיבט של פרשנות מקומית. בארצות הברית, חברות הביטוח נדרשות להיות מסוגלות להסביר את החלטות התעריף והכיסוי שלהן[71]. בצרפת, חוק הרפובליקה הדיגיטלית מעניק לנבדקים את הזכות לבקש ולקבל מידע הנוגע ליישום אלגוריתמים אשר מעבדים נתונים אודותיהם.

מגבלות

למרות המאמצים לשפר את ההסברתיות של מודלים של בינה מלאכותית, הם כוללים מספר מגבלות מובנות.

יריבויות

בתהליך הפיכת מערכת בינה מלאכותית לניתנת יותר להסבר, גוברת גם החשיפה של מנגנוני פעולתה הפנימיים. לדוגמה, בשיטת הסבר שמזהה את התכונות או המשתנים המרכזיים בקביעת הפלט של המודל, גורמים יריבים יכולים לנצל את המידע[72].

למשל, חברות מתחרות יכולות לשכפל היבטים של מערכת הבינה המלאכותית המקורית במוצר שלהן, ובכך להפחית את היתרון התחרותי[73]. מערכת בינה מלאכותית שניתנת להסבר רגישה גם למניפולציות ומושפעת באופן שעלול לפגוע בייעודה. בדוגמה מתוך מחקר מתוארת מערכת שיטור חזוי. במקרה זה, מי שיכולים להונות את המערכת הם הפושעים אשר כפופים להחלטות המערכת. במחקר זה, מפתחי המערכת דנו בנושא של כנופיות עברייניות אשר מבקשות להשיג דרכונים באופן בלתי חוקי. הם הביעו חששות שאם ייוודע אילו גורמים עלולים להפעיל התרעה בתהליך בקשת הדרכון, כנופיות אלו יוכלו להשתמש ב"שפני ניסוי" כדי לבדוק את אותם גורמים ולבסוף למצוא פרצה שתאפשר להם "לקבל באופן מהימן דרכונים מתחת לאף של הרשויות"[74].

מורכבות טכנית

מחסום בסיסי בהפיכת מערכות בינה מלאכותית לניתנות להסבר הוא המורכבות הטכנית של מערכות כאלה. משתמשי קצה חסרים לעיתים קרובות ידע בתיכנות. השיטות הנוכחיות להסברתיות בינה מלאכותית הן בעיקר טכניות ומיועדות למהנדסי למידת מכונה למטרות תיקון תקלות תוכנה ולא עבור משתמשי הקצה, שמושפעים בסופו של דבר מהמערכת. זהו הגורם ל"פער בין יכולת ההסבר בפועל לבין מטרת השקיפות"[72]. הפתרונות אשר מוצעים לטיפול בסוגיית המורכבות הטכנית כוללים קידום חינוך של הציבור הרחב בתחום התיכנות, כך שהסברים טכניים יהיו נגישים יותר למשתמשי הקצה, או מתן הסברים במונחים של הדיוטות[73].

עם זאת, על הפתרונות להימנע מפישוט יתר. יש למצוא איזון בין דיוק - עד כמה ההסבר משקף נאמנה את התהליך של מערכת הבינה המלאכותית - לבין יכולת ההסבר - עד כמה משתמשי הקצה מבינים את התהליך. זהו איזון שקשה להגיע אליו, שכן המורכבות של למידת מכונה מקשה אפילו על מפתחיה להבין אותה היטב, קל וחומר מי שאינו מומחה[72].

הבנה ואמון

יש החושבים שמטרת ההסבר למשתמשי הקצה של מערכות בינה מלאכותית היא להגביר את האמון במערכות ו"לתת מענה לחששות לגבי חוסר 'הוגנות' והשפעות מפלות"[73]. עם זאת, אפילו עם הבנה טובה של מערכת בינה מלאכותית, משתמשי קצה לא בהכרח סומכים על המערכת[75]. במחקר מסוים הוצגו למשתתפים שילובים של הסברים סטטיים ואינטראקטיביים של מערכות בינה מלאכותית. בעוד שההסברים הללו שימשו להגביר הן את החוויה הסובייקטיבית של הבנה על ידי המשתתפים והן את ההבנה האובייקטיבית שלהם, לא הייתה לכך השפעה על רמת האמון שלהם והם נותרו ספקנים[76].

תוצאה זו נכונה במיוחד עבור החלטות אשר משפיעות על משתמש הקצה באופן משמעותי, כגון קבלה לבתי ספר לתארים מתקדמים. משתתפים במחקר העריכו את האלגוריתמים כבלתי גמישים מדי ולא סלחניים בהשוואה למכריעים אנושיים. במקום להקפיד על מערכת כללים "יבשים", בני אדם מסוגלים לשקול מקרים חריגים וכן לערער על החלטתם הראשונית[76]. בהחלטות כאלה, הסברתיות לא בהכרח תגרום למשתמשי קצה לקבל את השימוש באלגוריתמי החלטה אוטומטיים.

עם זאת, יש המדגישים שמטרת ההסברתיות של בינה מלאכותית אינה הגברת אמון המשתמשים בהחלטות המערכת, אלא כיול רמת האמון של המשתמשים למידה הנכונה[77]. על פי עיקרון זה, מידה רבה מדי או נמוכה מדי של אמון של המשתמשים במערכת הבינה המלאכותית תפגע בביצועים הכוללים של היחידה אדם-ומערכת. כאשר האמון מופרז, המשתמש אינו ביקורתי כלפי טעויות אפשריות של המערכת וכאשר למשתמש אין די אמון במערכת, הוא לא ימצה את היתרונות אשר גלומים בה.

ביקורת

חוקרים מציעים כי יש להתייחס להסברתיות בינה מלאכותית כיעד משני ליעילות הבינה המלאכותית וכי עידוד הפיתוח של הסברתיות בינה מלאכותית עשוי להגביל את הפונקציונליות שלה[78][79]. הביקורות על הסברתיות בינה מלאכותית מסתמכות על מושגים מפותחים של חשיבה מכניסטית ואמפירית מתחום הרפואה המבוססת ראיות וגורסים שניתן לאמת קלינית טכנולוגיות בינה מלאכותית גם כאשר המפעילים שלהן לא מסוגלים להבין את אופן תפקודן[78].

יתרה מכך, מערכות הסברתיות בינה מלאכותית מתמקדות בעיקר בהפיכת מערכות בינה מלאכותית למובנות למפתחי בינה מלאכותית ולא למשתמשי קצה, כך שהתוצאות שלהן לגבי תפיסות המשתמשים של מערכות אלו אינן ברורות[80]. חלק מהחוקרים דוגלים בשימוש במודלים של למידת מכונה אשר ניתנים לפירוש מטבעם, במקום להשתמש בהסברים בדיעבד, שבהם נוצר מודל שני כדי להסביר את הראשון. העדפה זו נובעת בחלקה משום שמודלים שבדיעבד מגבירים את המורכבות במסלול החלטה וחלקה משום שלעיתים קרובות לא ברור באיזו נאמנות הסבר בדיעבד יכול להתחקות אחר החישובים של מודל נפרד לחלוטין[18]. עם זאת, דעה נוספת היא שמה שחשוב הוא שההסבר ישיג את המשימה הנתונה, ללא חשיבות להתרחשותו מראש או בדיעבד. במידה ושיטת הסבר בדיעבד עוזרת לרופא לאבחן טוב יותר את הסרטן, יש חשיבות משנית לדיוק ההסבר.

הסברתיות בינה מלאכותית הופכת פחות יעילה ככל שהמודלים של הבינה המלאכותית כוללים יותר הפרמטרים[81].

ראו גם

קישורים חיצוניים

ויקישיתוף מדיה וקבצים בנושא הסברתיות בינה מלאכותית בוויקישיתוף

הערות שוליים

  1. ^ Mihály, Héder, [chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://ercim-news.ercim.eu/images/stories/EN134/EN134-web.pdf Explainable AI: A Brief History of the Concept], ERCIM News 134, עמ' 9–10
  2. ^ P Jonathon Phillips, Carina A Hahn, Peter C Fontana, Amy N Yates, Kristen Greene, David A Broniatowski, Mark A Przybocki, Four principles of explainable artificial intelligence, 2021-09-29 doi: 10.6028/nist.ir.8312
  3. ^ Giulia Vilone, Luca Longo, Notions of explainability and evaluation approaches for explainable artificial intelligence, Information Fusion 76, 2021-12, עמ' 89–106 doi: 10.1016/j.inffus.2021.05.009
  4. ^ Davide Castelvecchi, Can we open the black box of AI?, Nature 538, 2016-10, עמ' 20–23 doi: 10.1038/538020a
  5. ^ 5.0 5.1 5.2 5.3 Sample, Ian; editor, Ian Sample Science (2017-11-05). "Computer says no: why making AIs fair, accountable and transparent is crucial". The Guardian (באנגלית בריטית). ISSN 0261-3077. נבדק ב-2024-01-09. {{cite news}}: |last2= has generic name (עזרה)
  6. ^ Fatemeh Alizadeh, Gunnar Stevens, Margarita Esau, I Don’t Know, Is AI Also Used in Airbags?: An Empirical Study of Folk Concepts and People’s Expectations of Current and Future Artificial Intelligence, i-com 20, 2021-04-27, עמ' 3–17 doi: 10.1515/icom-2021-0009
  7. ^ 7.0 7.1 Lilian Edwards, Michael Veale, Slave to the Algorithm? Why a 'right to an explanation' is probably not the remedy you are looking for, dx.doi.org, ‏2017-11-18
  8. ^ David Gunning, Mark Stefik, Jaesik Choi, Timothy Miller, Simone Stumpf, Guang-Zhong Yang, XAI—Explainable artificial intelligence, Science Robotics 4, 2019-12-18 doi: 10.1126/scirobotics.aay7120
  9. ^ Thilo Rieg, Janek Frick, Hermann Baumgartl, Ricardo Buettner, Demonstration of the potential of white-box machine learning approaches to gain insights from cardiovascular disease electrocardiograms, PLOS ONE 15, 2020-12-17, עמ' e0243615 doi: 10.1371/journal.pone.0243615
  10. ^ Giulia Vilone, Luca Longo, Classification of Explainable Artificial Intelligence Methods through Their Output Formats, Machine Learning and Knowledge Extraction 3, 2021-08-04, עמ' 615–661 doi: 10.3390/make3030032
  11. ^ Octavio Loyola-Gonzalez, Black-Box vs. White-Box: Understanding Their Advantages and Weaknesses From a Practical Point of View, IEEE Access 7, 2019, עמ' 154096–154113 doi: 10.1109/ACCESS.2019.2949286
  12. ^ 12.0 12.1 Ribana Roscher, Bastian Bohn, Marco F. Duarte, Jochen Garcke, Explainable Machine Learning for Scientific Insights and Discoveries, IEEE Access 8, 2020, עמ' 42200–42216 doi: 10.1109/ACCESS.2020.2976199
  13. ^ 13.0 13.1 W. James Murdoch, Chandan Singh, Karl Kumbier, Reza Abbasi-Asl, Bin Yu, Definitions, methods, and applications in interpretable machine learning, Proceedings of the National Academy of Sciences 116, 2019-10-29, עמ' 22071–22080 doi: 10.1073/pnas.1900654116
  14. ^ 14.0 14.1 Zachary C. Lipton, The Mythos of Model Interpretability: In machine learning, the concept of interpretability is both important and slippery., Queue 16, 2018-06, עמ' 31–57 doi: 10.1145/3236386.3241340
  15. ^ Explainable Artificial Intelligence (XAI): Concepts, Taxonomies, Opportunities and Challenges toward Responsible AI, DeepAI, ‏2019-10-22
  16. ^ Grégoire Montavon, Wojciech Samek, Klaus-Robert Müller, Methods for interpreting and understanding deep neural networks, Digital Signal Processing 73, 2018-02, עמ' 1–15 doi: 10.1016/j.dsp.2017.10.011
  17. ^ Amina Adadi, Mohammed Berrada, Peeking Inside the Black-Box: A Survey on Explainable Artificial Intelligence (XAI), IEEE Access 6, 2018, עמ' 52138–52160 doi: 10.1109/ACCESS.2018.2870052
  18. ^ 18.0 18.1 18.2 Cynthia Rudin, Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead, Nature Machine Intelligence 1, 2019-05-13, עמ' 206–215 doi: 10.1038/s42256-019-0048-x
  19. ^ Pang Wei Koh, Thao Nguyen, Yew Siang Tang, Stephen Mussmann, Emma Pierson, Been Kim, Percy Liang, Concept Bottleneck Models, Proceedings of the 37th International Conference on Machine Learning, PMLR, 2020-11-21, עמ' 5338–5348
  20. ^ Ludan, J. M., Lyu, Q., Yang, Y., Dugan, L., Yatskar, M., & Callison-Burch, C., Interpretable-by-Design Text Classification with Iteratively Generated Concept Bottleneck, 2023
  21. ^ Simon Wenninger, Can Kaymakci, Christian Wiethe, Explainable long-term building energy consumption prediction using QLattice, Applied Energy 308, 2022-02, עמ' 118300 doi: 10.1016/j.apenergy.2021.118300
  22. ^ Michael Christiansen, Casper Wilstrup, Paula L. Hedley, Explainable “white-box” machine learning is the way forward in preeclampsia screening, American Journal of Obstetrics and Gynecology 227, 2022-11, עמ' 791 doi: 10.1016/j.ajog.2022.06.057
  23. ^ Casper Wilstup, Chris Cave, Combining symbolic regression with the Cox proportional hazards model improves prediction of heart failure deaths, 2021-01-15 doi: 10.1101/2021.01.15.21249874
  24. ^ How AI detectives are cracking open the black box of deep learning, AAAS Articles DO Group, ‏2021-03-28
  25. ^ Filip Karlo Dosilovic, Mario Brcic, Nikica Hlupic, Explainable artificial intelligence: A survey, IEEE, 2018-05, עמ' 0210–0215 doi: 10.23919/MIPRO.2018.8400040
  26. ^ Jose Bernal, Claudia Mazo, Transparency of Artificial Intelligence in Healthcare: Insights from Professionals in Computing and Healthcare Worldwide, Applied Sciences 12, 2022-10-11, עמ' 10228 doi: 10.3390/app122010228
  27. ^ Anna Markella Antoniadi, Yuhan Du, Yasmine Guendouz, Lan Wei, Claudia Mazo, Brett A. Becker, Catherine Mooney, Current Challenges and Future Opportunities for XAI in Machine Learning-Based Clinical Decision Support Systems: A Systematic Review, Applied Sciences 11, 2021-05-31, עמ' 5088 doi: 10.3390/app11115088
  28. ^ Bloomberg - Are you a robot?, www.bloomberg.com
  29. ^
    שגיאות פרמטריות בתבנית:קישור כללי
    פרמטרי חובה [ כותרת ] חסרים         {{{כותרת}}}, באתר www.darpa.mil
  30. ^ Przemyslaw Biecek, DALEX: explainers for complex predictive models, 2018 doi: 10.48550/ARXIV.1806.08915
  31. ^ Arun Rai, Explainable AI: from black box to glass box, Journal of the Academy of Marketing Science 48, 2019-12-17, עמ' 137–141 doi: 10.1007/s11747-019-00710-5
  32. ^ Kacper Sokol, Peter Flach, Glass-Box: Explaining AI Decisions With Counterfactual Statements Through Conversation With a Voice-enabled Virtual Assistant, International Joint Conferences on Artificial Intelligence Organization, 2018-07, עמ' 5868–5870 doi: 10.24963/ijcai.2018/865
  33. ^ David A Broniatowski, Psychological foundations of explainability and interpretability in artificial intelligence, 2021-04-12 doi: 10.6028/nist.ir.8367
  34. ^ Software and systems engineering. Software testing, BSI British Standards, נבדק ב-2024-01-22
  35. ^ Fagan, L. M., Shortliffe, E. H., & Buchanan, B. G., [chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/https://stacks.stanford.edu/file/druid:xt779dh5744/xt779dh5744.pdf Computer-based medical decision making: from MYCIN to VM], Automedica 3(2), 1980, עמ' 97-108
  36. ^ Clancey, W. J., Knowledge-based tutoring: The GUIDON program., MIT press., 1987
  37. ^ Brown, J. S., Pedagogical, natural language, and knowledge engineering techniques in SOPHIE-I, II and III, Intelligent tutoring systems, 1982, עמ' 227-282
  38. ^ Bareiss, Ray; Porter, Bruce; Weir, Craig; Holte, Robert, Protos: An Exemplar-Based Learning Apprentice, Machine Learning. 3, 1990, עמ' 112–139
  39. ^ 39.0 39.1 Ray Bareiss, Exemplar-Based Knowledge Acquisition: A Unified Approach to Concept Representation, Classification, and Learning, Academic Press, 2014-05-10, מסת"ב 978-1-4832-1637-9. (באנגלית)
  40. ^ Van Lent, M., Fisher, W., & Mancuso, M., An explainable artificial intelligence system for small-unit tactical behavior, Proceedings of the national conference on artificial intelligence, 2004, עמ' 900-907
  41. ^ Stuart J. Russell, Peter Norvig, Artificial intelligence: a modern approach ; [the intelligent agent book], 2. ed, Upper Saddle River, NJ: Prentice Hall, 2003, Prentice Hall series in artificial intelligence, מסת"ב 978-0-13-790395-5
  42. ^ A.B. Tickle, R. Andrews, M. Golea, J. Diederich, The truth will come to light: directions and challenges in extracting the knowledge embedded within trained artificial neural networks, IEEE Transactions on Neural Networks 9, Nov./1998, עמ' 1057–1068 doi: 10.1109/72.728352
  43. ^ Bloomberg - Are you a robot?, www.bloomberg.com
  44. ^ Marvin Minsky, Ray Kurzweil, Steve Mann, The society of intelligent veillance, 2013 IEEE International Symposium on Technology and Society (ISTAS): Social Implications of Wearable Computing and Augmediated Reality in Everyday Life, IEEE, 2013-06 doi: 10.1109/istas.2013.6613095
  45. ^ Mukherjee, S.., AI Versus MD, The New Yorker, 2017
  46. ^ Orsolya Csiszár, Gábor Csiszár, József Dombi, Interpretable neural networks based on continuous-valued logic and multicriteria decision operators, Knowledge-Based Systems 199, 2020-07, עמ' 105972 doi: 10.1016/j.knosys.2020.105972
  47. ^ Doshi-Velez, F., & Kim, B., Towards a rigorous science of interpretable machine learning, arXiv preprint, 2017
  48. ^ Behnoush Abdollahi, Olfa Nasraoui, Explainable Restricted Boltzmann Machines for Collaborative Filtering, arXiv preprint, 2016
  49. ^ József Dombi, Orsolya Csiszár, כרך 408, Explainable Neural Networks Based on Fuzzy Logic and Multi-criteria Decision Tools, Cham: Springer International Publishing, 2021, Studies in Fuzziness and Soft Computing, מסת"ב 978-3-030-72279-1. (באנגלית)
  50. ^ Sebastian Bach, Alexander Binder, Grégoire Montavon, Frederick Klauschen, Klaus-Robert Müller, Wojciech Samek, On Pixel-Wise Explanations for Non-Linear Classifier Decisions by Layer-Wise Relevance Propagation, PLOS ONE 10, 2015-07-10, עמ' e0130140 doi: 10.1371/journal.pone.0130140
  51. ^ University of Antwerp, David Martens, Foster Provost, New York University, Explaining Data-Driven Document Classifications, MIS Quarterly 38, 2014-01-01, עמ' 73–99 doi: 10.25300/MISQ/2014/38.1.04
  52. ^ Marco Tulio Ribeiro, Sameer Singh, Carlos Guestrin, "Why Should I Trust You?": Explaining the Predictions of Any Classifier, ACM, 2016-08-13, עמ' 1135–1144 doi: 10.1145/2939672.2939778
  53. ^ Lundberg, S. M., & Lee, S. I., A unified approach to interpreting model predictions, . Advances in neural information processing systems 30, 2017
  54. ^ Carter, B., Mueller, J., Jain, S., & Gifford, D., [chrome-extension://efaidnbmnnnibpcajpcglclefindmkaj/http://proceedings.mlr.press/v89/carter19a/carter19a.pdf . What made you do this? understanding black-box decisions with sufficient input subsets.], The 22nd International Conference on Artificial Intelligence and Statistics, 2019, עמ' 567-576
  55. ^ Shrikumar, A., Greenside, P., & Kundaje, A., . Learning important features through propagating activation differences, International conference on machine learning, 2017, עמ' 3145-3153
  56. ^ Sundararajan, M., Taly, A., & Yan, Q., Axiomatic attribution for deep networks., International conference on machine learning, 2017, עמ' 3319-3328
  57. ^ Chandan Singh, Keyan Nasseri, Yan Tan, Tiffany Tang, Bin Yu, imodels: a python package for fitting interpretable models, Journal of Open Source Software 6, 2021-05-04, עמ' 3192 doi: 10.21105/joss.03192
  58. ^ Vidal, T., & Schiffer, M., Born-again tree ensembles, International conference on machine learning, 2020, עמ' 9743-9753
  59. ^ Berk Ustun, Cynthia Rudin, Supersparse linear integer models for optimized medical scoring systems, Machine Learning 102, 2016-03, עמ' 349–391 doi: 10.1007/s10994-015-5528-6
  60. ^ Nick Bostrom, Eliezer Yudkowsky, The ethics of artificial intelligence, Cambridge University Press, 2014-06-12, עמ' 316–334
  61. ^ "Computer programs recognise white men better than black women". The Economist. ISSN 0013-0613. נבדק ב-2024-01-22.
  62. ^ Chris Olah, Nick Cammarata, Ludwig Schubert, Gabriel Goh, Michael Petrov, Shan Carter, Zoom In: An Introduction to Circuits, Distill 5, 2020-03-10 doi: 10.23915/distill.00024.001
  63. ^ Yixuan Li, Jason Yosinski, Jeff Clune, Hod Lipson, John Hopcroft, Convergent Learning: Do different neural networks learn the same representations?, Proceedings of the 1st International Workshop on Feature Extraction: Modern Questions and Challenges at NIPS 2015, PMLR, 2015-12-08, עמ' 196–212
  64. ^ Lisa Anne Hendricks, Zeynep Akata, Marcus Rohrbach, Jeff Donahue, Bernt Schiele, Trevor Darrell, כרך 9908, Generating Visual Explanations, Cham: Springer International Publishing, 2016, עמ' 3–19, מסת"ב 978-3-319-46492-3. (באנגלית)
  65. ^ Pang Wei Koh, Percy Liang, Understanding Black-box Predictions via Influence Functions, Proceedings of the 34th International Conference on Machine Learning, PMLR, 2017-07-17, עמ' 1885–1894
  66. ^ Philip Gouverneur, Frédéric Li, Kimiaki Shirahama, Luisa Luebke, Wacław M. Adamczyk, Tibor M. Szikszay, Kerstin Luedtke, Marcin Grzegorzek, Explainable Artificial Intelligence (XAI) in Pain Research: Understanding the Role of Electrodermal Activity for Automated Pain Recognition, Sensors 23, 2023-02-09, עמ' 1959 doi: 10.3390/s23041959
  67. ^ Adrien Bennetot, Ivan Donadello, Ayoub El Qadi, Mauro Dragoni, Thomas Frossard, Benedikt Wagner, Anna Saranti, Silvia Tulli, Maria Trocan, Raja Chatila, Andreas Holzinger, Artur d'Avila Garcez, Natalia Diaz Rodriguez, A Practical Guide on Explainable Ai Techniques Applied on Biomedical Use Case Applications, SSRN Electronic Journal, 2022 doi: 10.2139/ssrn.4229624
  68. ^ Yugesh Verma, A Complete Guide to SHAP - SHAPley Additive exPlanations for Practitioners, Analytics India Magazine, ‏2021-12-25 (באנגלית אמריקאית)
  69. ^ Denis Rothman, Exploring LIME Explanations and the Mathematics Behind It, Codemotion Magazine, ‏2020-10-07 (באנגלית אמריקאית)
  70. ^ Wayback Machine, web.archive.org
  71. ^ "Artificial Intelligence Has Some Explaining to Do". Bloomberg.com (באנגלית). 2018-12-12. נבדק ב-2024-01-23.
  72. ^ 72.0 72.1 72.2 Umang Bhatt, Alice Xiang, Shubham Sharma, Adrian Weller, Ankur Taly, Yunhan Jia, Joydeep Ghosh, Ruchir Puri, José M. F. Moura, Peter Eckersley, Explainable machine learning in deployment, ACM, 2020-01-27, עמ' 648–657 doi: 10.1145/3351095.3375624
  73. ^ 73.0 73.1 73.2 Jenna Burrell, How the machine ‘thinks’: Understanding opacity in machine learning algorithms, Big Data & Society 3, 2016-06-01, עמ' 205395171562251 doi: 10.1177/2053951715622512
  74. ^ Michael Veale, Max Van Kleek, Reuben Binns, Fairness and Accountability Design Needs for Algorithmic Support in High-Stakes Public Sector Decision-Making, ACM, 2018-04-21, עמ' 1–14 doi: 10.1145/3173574.3174014
  75. ^ Tongxi Hu, Xuesong Zhang, Gil Bohrer, Yanlan Liu, Yuyu Zhou, Jay Martin, Yang Li, Kaiguang Zhao, Crop yield prediction via explainable AI and interpretable machine learning: Dangers of black box models for evaluating climate change impacts on crop yield, Agricultural and Forest Meteorology 336, 2023-06, עמ' 109458 doi: 10.1016/j.agrformet.2023.109458
  76. ^ 76.0 76.1 Hao-Fei Cheng, Ruotong Wang, Zheng Zhang, Fiona O'Connell, Terrance Gray, F. Maxwell Harper, Haiyi Zhu, Explaining Decision-Making Algorithms through UI: Strategies to Help Non-Expert Stakeholders, ACM, 2019-05-02, עמ' 1–12 doi: 10.1145/3290605.3300789
  77. ^ Yotam Liel, Lior Zalmanson, Turning Off Your Better Judgment – Conformity to Algorithmic Recommendations, Academy of Management Proceedings 2023, 2023-08 doi: 10.5465/AMPROC.2023.277bp
  78. ^ 78.0 78.1 Liam G. McCoy, Connor T.A. Brenna, Stacy S. Chen, Karina Vold, Sunit Das, Believing in black boxes: machine learning for healthcare does not need explainability to be evidence-based, Journal of Clinical Epidemiology 142, 2022-02, עמ' 252–257 doi: 10.1016/j.jclinepi.2021.11.001
  79. ^ Marzyeh Ghassemi, Luke Oakden-Rayner, Andrew L Beam, The false hope of current approaches to explainable artificial intelligence in health care, The Lancet Digital Health 3, 2021-11, עמ' e745–e750 doi: 10.1016/S2589-7500(21)00208-9
  80. ^ Fatemeh Alizadeh, Margarita Esau, Gunnar Stevens, Lena Cassens, eXplainable AI: Take one Step Back, Move two Steps forward, 2020 doi: 10.18420/MUC2020-WS111-369
  81. ^ Advait Sarkar, Is explainable AI a race against model complexity?, arXiv preprint, 2022
הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

38025843הסברתיות בינה מלאכותית

אוחזר מתוך "https://www.hamichlol.org.il/w/index.php?title=הסברתיות_בינה_מלאכותית&oldid=2530434"