רגרסיה מקומית

שימוש ב-LOESS על אוכלוסיית נקודות שנדגמו מפונקציית גל של סינוס בתוספת רעש עם התפלגות אחידה.

רגרסיה מקומית - LOESS ו-LOWESS (קיצור של Locally weighted scatterplot smoothing; החלקת נקודת פיזור מקומית) הן שתי שיטות נפוצות ללא פרמטרים המשלבות מספר רב של מודלי רגרסיה ומבוססות על מודל שכן קרוב. שיטת " LOESS" היא הכללה מאוחרת של שיטת "LOWESS" ; אף על פי שאלו אינן ראשי-תיבות במובן הרגיל, ניתן לפרש אותן כ"רגרסיה מקומית".

"LOESS" ו- "LOWESS" נבנו על שיטות "קלאסיות" כגון רגרסיית הריבועים הפחותים, לינארית ולא לינארית. הן מטפלות במצבים שבהם השיטות הקלאסיות אינן מתפקדות היטב או שלא ניתן ליישמן ביעילות. "LOESS" משלב הרבה מן הפשטות של רגרסיית הריבועים הפחותים הלינארית יחד עם הגמישות של הרגרסיה הלא לינארית. היא עושה זאת על ידי התאמה של מודלים פשוטים לתתי נתונים מקומיים כדי לבנות פונקציה המתארת את החלק הקבוע של השונות בנתונים, נקודה אחר נקודה. למעשה, אחד היתרונות העיקריים של שיטה זו הוא שניתוח הנתונים לא נדרש כדי לציין פונקציה כללית מכל צורה שהיא כדי שתתאים בין המודל לנתונים, אלא רק כדי להתאים בין המגזרים לנתונים.

ה"מחיר" עבור תכונות אלה הוא החישובים שגדלו. בגלל החישובים האינטנסיביים, "LOESS" הייתה כמעט בלתי אפשרית לשימוש מבחינה פרקטית בעידן שבו רגרסית הריבועים הפחותים פותחה. רוב השיטות המודרניות האחרות למידול תהליכים דומות ל- "LOESS" בהקשר זה. שיטות אלה עוצבו באופן מודע לשימוש ביכולת החישובית הנוכחית שלנו וביתרונה המקסימלי האפשרי כדי להשיג מטרות שלא הושגו בקלות על ידי השיטות המסורתיות.

עקומה חלקה העוברת דרך נקודות נתונים הושגה על ידי טכניקה סטטיסטית זו, הנקראת עקומת LOESS, במיוחד כאשר כל ערך מוחלק מתקבל על ידי רגרסיית ריבועים פחותים ריבועית משוקללת על טווח של ערכי קריטריון פיזור על ציר ה-Y. כאשר כל ערך מוחלק מתקבל על ידי רגרסיית ריבועים פחותים משוקללת על פני הטווח מתקבלת עקומת LOWESS; עם זאת, יהיו כאלה שיצמידו את LOWESS ו- LOESS כמילים נרדפות.

הגדרה של מודל LOESS

שיטת LOESS אשר הוצעה במקור על ידי קליבלנד (1979) ופותחה בהרחבה בהמשך על ידי קליבלנד ודבלין (1988), מציינת במיוחד שיטה הידועה גם כרגרסית פולינומים מקומית משוקללת. בכל נקודה בנתונים, מותאם פולינום מדרגה נמוכה לקבוצת משנה של נתונים המכיל ערכים של משתנים מסבירים סביב הנקודה אשר תגובתה מוערכת. הפולינום המותאם, המשתמש בשקלול הריבועים הפחותים, נותן משקל גבוה יותר לנקודות סביב אותה נקודה מגיבה ומוערכת ומשקל מופחת לנקודות הרחוקות ממנה. הערך של פונקציית הרגרסיה עבור אותה נקודה מושג על ידי הערכה של הפולינום המקומי ומשתמש בערכי המשתנים המסבירים עבור אותה נקודה בנתונים. התאמת ה- LOESS מסתיימת לאחר שערכי פונקציית הרגרסיה חושבו עבור כל אחת מה-N נקודות נתונים. הרבה מהפרטים של שיטה זו, כמו מעלות של המודל הפולינומי והמשקלים הם גמישים. טווח האפשרויות עבור כל חלק של השיטה.

תתי נתונים מקומיים

תתי הנתונים הבאים לידי שימוש בכל התאמה של הריבועים הפחותים המשוקללים למודל LOESS נקבעים על ידי אלגוריתם השכן הקרוב. קלט המשתמש לתהליך נקרא "רוחב פס" או "פרמטר החלקה" וקובע את כמות הנתונים הנמצאים בשימוש כדי להתאים לכל פולינום מקומי. פרמטר ההחלקה, α, הוא מספר בין 1 ל- (λ+1)/n כאשר λ מסמן את מידת הפולינום המקומי. הערך α מציין את החלק של הנתונים המשמשים בכל התאמה. תתי הנתונים הבאים לידי שימוש בכל התאמת ריבועים מופחתים משוקללים כוללים את ה- n×α הנקודות (מעוגלות למספר השלם הגדול הבא אחרי) של ערכי המשתנים המסבירים הקרובים ביותר לנקודה בה התגובה מוערכת. α נקרא מקדם החלקה מכיוון שהוא שולט בגמישות של פונקציית רגרסיית LOESS. ערכים גבוהים של α יוצרים פונקציית החלקה בעלת תנודתיות נמוכה בתגובה לתנודתיות בנתונים. ה- α הקטן, מסמל את ההתאמה הקרובה ביותר של פונקציית הרגרסיה לנתונים. שימוש בערך קטן מדי של פרמטר החלקה אינו רצוי, עם זאת, שכן פונקציית הרגרסיה בסופו של דבר תתחיל ללכוד את השגיאה האקראית בנתונים. ערכים שימושיים של פונקציית החלקה בדרך כלל משקרים בטווח של 0.25-0.5 עבור מרבית יישומי ה-LOESS.

דרגות של פולינומים מקומיים

הפולינומים המקומיים המתאימים לכל סט של תתי נתונים הם כמעט תמיד מדרגה ראשונה או שנייה, כלומר, לינארי (במובן של קו ישר) או ריבועי. שימוש בפולינום מדרגה אפס הופך את LOESS לממוצע נע משוקלל. מודל פשוט מסוג זה יכול לעבוד טוב במצבים מסוימים אבל לא תמיד לאמוד את הפונקציה הבסיסית בצורה מספיק טובה. פולינומים מדרגות גבוהות יותר יעבדו בתאוריה, אבל יניבו מודלים שהם לא באמת ברוח מודל LOESS. LOESS מבוססת על הרעיון שכל פונקציה יכולה להיאמד היטב על ידי פולינום מרמה נמוכה ומודלים פשוטים כאלה יכולים להתאים לנתונים בקלות. פולינומים מדרגה גבוהה יהיו בעלי נטייה להתאמת יתר של הנתונים בכל סט ולאי יציבות מספרית מה שהופך את החישובים המדויקים למסובכים.

פונקציית משקל

כמוזכר לעיל, פונקציית המשקל מחלקת את רוב המשקל לנקודות סביב הנקודה הנאמדת ונותנת פחות משקל לנקודות הרחוקות ממנה. השימוש במשקלים מבוסס על הרעיון שהנקודות הקרובות אחת לשנייה בחלל המשתנים המסבירים נוטות להיות קשורות זו לזו בצורה קלה יותר מאשר הנקודות שרחוקות מחלל זה. בעקבות הגיון זה, נקודות אשר סביר להניח שיעקבו אחריי המודל המקומי בצורה הטובה ביותר ישפיעו על הפרמטר האומד את המודל המקומי בצורה הטובה ביותר. נקודות שסביר להניח שפחות יתאימו למודל המקומי, פחות ישפיעו על הפרמטר האומד של המודל המקומי. פונקציית המשקל המסורתית בה משתמש מודל LOESS היא פונקציית משקל תלת קובייה:

$w(x)=(1-|x|^{3})^{3}I[|x|<1]$

עם זאת, ניתן להשתמש בכל פונקציית משקל אחרת העונה על המאפיינים שהציג קליבלנד (1979) . המשקל עבור נקודה ספציפית בכל מרחב מקומי של תתי נתונים שהוא, מושג על ידי הערכה של פונקציית המשקל במרחק בין הנקודה הספציפית לנקודת האמידה, לאחר דירוג המרחק כך שהמרחק המקסימלי המוחלט של הנקודות על פני תתי הנתונים הוא בדיוק אחד (1).

יתרונותיו של LOESS

כאמור לעיל, היתרון הגדול של LOESS על פני שיטות רבות אחרות, הוא עצם העובדה שלא נדרש מפרט של פונקציה כדי להתאים את המודל לכל הנתונים במדגם. במקום זאת, האנליסט רק נדרש לספק ערך של פרמטר החלקה ואת הדרגה של הפולינום המקומי. בנוסף, LOESS הוא מאד גמיש, מה שהופך אותו לאידאלי למידול תהליכים מורכבים שאין עבורם מודלים תאורטיים קיימים. שני יתרונות אלה, בשילוב עם הפשטות של השיטה, הופכים את LOESS לאחת משיטות הרגרסיה המודרניות האטרקטיביות ביותר ליישומים המתאימים למסגרת הכללית של רגרסיית הריבועים הפחותים ובעלי מבנה דטרמיניסטי מורכב. אף על פי שזה פחות ברור עבור חלק מהשיטות האחרות הקשורות לרגרסיית ריבועים פחותים לינארית, LOESS גם צובר את רוב ההטבות המשותפות בדרך כלל על ידי תהליכים אלה. החשוב ביותר מאלה זה התאוריה לחישוב אי ודאות לתחזית וכיול. בדיקות רבות אחרות ונהלים המשמשים לתיקוף מודלים ריבועים פחותים יכולות להיות מורחבות למודל LOESS.

חסרונותיו של LOESS

LOESS עושה שימוש פחות יעיל בנתונים מאשר שיטות ריבועים פחותים אחרות. הוא דורש מדגמים של נתונים די גדולים כדי לייצר מודלים טובים, זאת מכיוון ש- LOESS מסתמך על מבנה נתונים מקומי בעת ביצוע ההתאמה המקומית. לפיכך LOESS מספק ניתוח נתונים פחות מורכב בתמורה לעלויות נסיוניות יותר. חסרון נוסף של LOESS הוא עצם העובדה שאיננו מספק פונקציית רגרסיה שמיוצגת בקלות על ידי מודל מתמטי, דבר המקשה על העברת תוצאות הניתוחים לאנשים אחרים. כדי להעביר את פונקציית הרגרסיה לאדם אחר, יידרש להעביר לו גם את ערכת הנתונים והתוכנה לחישוב LOESS. ברגרסיה לא לינארית, מצד שני, יש צורך לרשום את הצורה הפונקציונלית בלבד כדי לספק הערכות של הפרמטרים הלא ידועים והאי ודאות המוערכת. לסיכום, כפי שפורט לעיל, LOESS היא שיטה עתירת חישובים. זה לא תמיד מהווה בעיה בסביבת המחשוב הנוכחית שלנו אלא אם כן ערכות הנתונים הנמצאות בשימוש על ידינו הן גדולות מאוד. LOESS נוטה להשפעות של חריגים על הנתונים הנמדדים, כמו בשיטות ריבועים פחותים אחרות. קיימת גם גרסה רובסטית (חזקה) איטרטיבית ל- LOESS ‏(Cleveland 1979) אשר מיועדת לשימוש והפחתת רגישות לחריגים, אך יחד עם זאת, עדיין הרבה מאד חריגים קיצוניים עדיין מסוגלים לבוא לידי ביטוי, על אף השיטה הרובסטית

ראו גם

• סטטיסטיקה א-פרמטרית
• רגרסיה לינארית
• Multivariate adaptive regression splines

קישורים חיצוניים

• Local Regression and Election Modeling
• Smoothing by Local Regression: Principles and Methods (PostScript Document)
• NIST Engineering Statistics Handbook Section on LOESS
• Local Fitting Software
• LOESS Smoothing in Excel
• Scatter Plot Smoothing
• Segmented regression בוויקיפדיה האנגלית