חיזוק גרדיאנט

Gradient boosting (מילולית: הגברת גרדיאנט) היא טכניקת למידת מכונה המשמשת בין היתר במשימות רגרסיה וסיווג. היא נותנת מודל חיזוי בצורה של תמהיל (ensemble) של מודלי חיזוי חלשים, שהם בדרך כלל עצי החלטה. כאשר עץ החלטות הוא הלומד החלש (weak learner), האלגוריתם המתקבל נקרא עצים מחוזקי שיפוע, והוא בדרך כלל מתעלה ביעילותו על יער אקראי (random forest). מודל עצי-מחוזק שיפוע בנוי בצורה שלבית כמו שיטות boosting אחרות, אבל זה מכליל שיטות אחרות בכך שהוא מאפשר אופטימיזציה של פונקציית הפסד גזירה שרירותיות.

הקדמה לא רשמית

(קטע זה תואם חשיפה של חיזוק שיפוע על ידי Li)

בדומה לשיטות חיזוק אחרות, חיזוק שיפוע משלבת "לומדים" חלשים ללומד חזק יחיד בצורה איטרטיבית. הכי קל להסביר בהגדרת הרגרסיה של ריבועים מינימליים, שבה המטרה היא "ללמד" מודל $F$ לחזות את ערכי הצורה ${\hat {y}}=F(x)$ על ידי מזעור השגיאה הממוצעת בריבוע ${\tfrac {1}{n}}\sum _{i}({\hat {y}}_{i}-y_{i})^{2}$, כאשר $i$ אינדקסים מעל סט אימונים כלשהו בגודל $n$ של ערכים בפועל של משתנה הפלט $y$ :

• ${\hat {y}}_{i}$ = הערך החזוי $F(x)$
• $y_{i}$ = הערך הנצפה
• $n$ = מספר הדגימות ב $y$

כעת, הבה נבחן אלגוריתם להגברת שיפוע עם $M$ שלבים. בכל שלב $m$ ( $1\leq m\leq M$ ) של הגברת שיפוע, נניח מודל לא מושלם $F_{m}$ (עבור $m$ נמוך, ייתכן שהדגם הזה פשוט יחזור ${\hat {y}}_{i}={\bar {y}}$, שבו ה- RHS הוא הממוצע של $y$). כדי לשפר את $F_{m}$, האלגוריתם שלנו צריך להוסיף איזשהו אומדן חדש, $h_{m}(x)$. לכן,

$F_{m+1}(x)=F_{m}(x)+h_{m}(x)=y$

או, באופן שווה,

$h_{m}(x)=y-F_{m}(x)$ .

לכן, הגברת שיפוע תתאים את h לשארית $y-F_{m}(x)$ . כמו בגרסאות חיזוק אחרות, כל $F_{m+1}$ מנסה לתקן את השגיאות של קודמו $F_{m}$. הכללה של רעיון זה לפונקציות הפסד שאינן שגיאה בריבוע, ולבעיות סיווג ודירוג, נובעת מהתצפית ששאריות $h_{m}(x)$ עבור מודל נתון שוות ערך (פרופורציונלית) לשיפועים השליליים של פונקציית ההפסד הממוצעת בריבוע (MSE) (ביחס ל $F(x)$):

$L_{\rm {MSE}}={\frac {1}{n}}\left(y-F(x)\right)^{2}$

$-{\frac {\partial L_{\rm {MSE}}}{\partial F}}={\frac {2}{n}}(y-F(x))={\frac {2}{n}}h_{m}(x)$ .

אז אפשר לכוון בהגברת השיפוע לאלגוריתם של ירידה בשיפוע, והכללה שלו כרוכה ב"חיבור" של הפסד שונה ושל הגרדיאנט שלו.

ראו גם

• יער אקראי
• XGBoost
• למידת עץ החלטות

לקריאה נוספת

• Boehmke, Bradley; Greenwell, Brandon (2019). "Gradient Boosting". Hands-On Machine Learning with R. Chapman & Hall. pp. 221–245. ISBN 978-1-138-49568-5.

הערות שוליים

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

32576947חיזוק גרדיאנט