שיטת ניוטון-רפסון

שיטת ניוטון-רפסון היא שיטה איטרטיבית למציאת השורש של הפונקציה (בכחול), הנעשית באמצעות סדרת קירובים תוך שימוש במשיק (באדום)

שיטת ניוטון-רפסון (או כלל ניוטון) היא אלגוריתם יעיל באנליזה נומרית, למציאת שורשים של פונקציה ממשית כלשהי, דהיינו נקודות בהן הפונקציה מתאפסת. השיטה פותחה באופן בלתי תלוי בידי אייזק ניוטון וג'וזף רפסון.

תיאור

השיטה מבוססת על הרעיון הבא: בהינתן פונקציה שאת השורש שלה אנחנו מחפשים, ואנו מגבילים את עצמנו לתחום בו יש לפונקציה רק שורש אחד, אם נבחר נקודה קרובה לשורש, השורש של המשיק לפונקציה באותה נקודה יהיה קרוב יותר לשורש שאנו מחפשים. בכל איטרציה של הלולאה, יתקבל קירוב טוב יותר ויותר.

סדר הפעולות בשיטת ניוטון רפסון הוא:

1. בחירת נקודה קרובה לשורש המבוקש.
2. חישוב שיפוע המשיק לפונקציה בנקודה זו; זוהי הנגזרת של הפונקציה באותה נקודה.
3. חישב משוואת המשיק, באמצעות גאומטריה אנליטית.
4. מציאת שורש המשיק, כלומר הנקודה בה המשיק חותך את ציר ה-x.

אם בחירת הנקודה ההתחלתית הייתה טובה, הנקודה החדשה שהתקבלה קרובה יותר ממנה לשורש, ויש לחזור על התהליך עם הנקודה החדשה כנקודת ההתחלה. אם לא, הנקודה המתקבלת תחרוג מהתחום הנידון. תחת תנאים מסוימים ניתן להבטיח שהשיטה תעבוד היטב, גם עבור נקודות התחלתיות רחוקות מאוד מהשורש.

ניסוח מתמטי

בערך זה נעשה שימוש בסימנים מוסכמים מתחום המתמטיקה. להבהרת הסימנים ראו סימון מתמטי.

הדמיה של שיטת ניוטון

תהי $f:[a,b]\rightarrow \mathbb {R}$ פונקציה גזירה בקטע $[a,b]$. נתחיל את האיטרציה מהנקודה $x_{0}$. שיפוע המשיק לפונקציה בנקודה זו הוא $f'\left(x_{0}\right)$.

אם כך, אנחנו מחפשים את משוואת הישר שעובר דרך הנקודה $\left(x_{0},f(x_{0})\right)$ ושיפועו $f'\left(x_{0}\right)$. זהו למעשה הקירוב הליניארי לפונקציה $\ f$ בנקודה $x_{0}$. על פי הגאומטריה האנליטית נקבל שמשוואה זו היא $y-f(x_{0})=f'\left(x_{0}\right)(x-x_{0})$. מאחר שאנו מחפשים את החיתוך של ישר זה עם ציר $x$, נציב $y=0$ ונקבל, לאחר העברת אגפים:

$$x_{1}=x_{0}-{\frac {f(x_{0})}{f'(x_{0})}}$$

כאשר $x_{1}$ הוא נקודת החיתוך המבוקשת.

נסתכל כעת בסדרה $\left\{x_{n}\right\}_{n=0}^{\infty }$ המוגדרת רקורסיבית על ידי

$$x_{n+1}=x_{n}-{\frac {f(x_{n})}{f'(x_{n})}}$$

סדרה זו מתכנסת לשורש המבוקש, בהינתן בחירה מתאימה של $x_{0}$.

דוגמאות

נראה כיצד ניתן להשתמש בשיטה זו כדי לחשב בקלות שורשים. נניח כי אנו רוצים לחשב את ${\sqrt {a}}$ עבור $a>0$ כלשהו. מספר זה הוא השורש החיובי של הפונקציה $f(x)=x^{2}-a$. נגזור ונקבל $f'(x)=2x$. בתור אבר ראשון באיטרציה נבחר את $a$ עצמו (ניתן להוכיח כי בבחירה זו מובטח שהשיטה תיתן את הפתרון). כלומר, נביט בסדרה $\left\{x_{n}\right\}_{n=0}^{\infty }$ המוגדרת כך:

$x_{0}=a$

$x_{n+1}=x_{n}-{\frac {f(x_{n})}{f'(x_{n})}}=x_{n}-{\frac {x_{n}^{2}-a}{2x_{n}}}=x_{n}-{\frac {x_{n}}{2}}+{\frac {a}{2x_{n}}}={\frac {x_{n}}{2}}+{\frac {a}{2x_{n}}}$

בעזרת משוואה זו, ניתן לחשב תוך לכל היותר 10 איטרציות ערך מדויק עד 10 ספרות אחרי הנקודה של כל מספר עד 1,000. במספר איטרציות גדול יותר, השיטה עובדת עבור כל מספר ממשי חיובי.

נדגים עבור ${\sqrt {2}}$:

$x_{0}=2$

$x_{1}={\frac {2}{2}}+{\frac {2}{4}}={\frac {3}{2}}=1.5$

$x_{2}={\frac {\frac {3}{2}}{2}}+{\frac {2}{\frac {6}{2}}}={\frac {17}{12}}=1.416666667$

$x_{3}={\frac {\frac {17}{12}}{2}}+{\frac {2}{\frac {34}{12}}}=1{\frac {169}{408}}=1.414215686$

$x_{4}=1.414213562$

בתוך ארבע איטרציות הושג דיוק של 10 ספרות אחרי הנקודה. לפעמים נוח יותר להוציא גורם משותף של חצי, ולהתייחס לחישוב כאל ממוצע בין שני ערכים, דבר שגם מסביר אינטואיטיבית את החישוב.

דוגמה נוספת, מעט יותר מסובכת: $\ f(x)=x^{x}-2=e^{x\ln x}-2$:

הנגזרת היא: $\ (\ln x+1)e^{x\ln x}$.

נסמן: $x_{0}=2$

$x_{1}={\frac {2}{1}}-{\frac {2}{6.77}}=1.704691945$

$x_{2}={\frac {1.704}{1}}-{\frac {0.48}{3.8}}=1.577944557$

$x_{3}={\frac {1.5779}{1}}-{\frac {0.0538}{2.99}}=1.559924538$

$x_{4}={\frac {1.5599}{1}}-{\frac {0.000907}{2.89}}=1.559610563$

ושוב, לאחר ארבע איטרציות בלבד הושג דיוק של 10 ספרות אחרי הנקודה.

התכנסות

עבור פונקציות מסוימות, ניתן להוכיח ששיטת ניוטון-רפסון תתכנס לפתרון המבוקש, בהתחשב בנגזרת הראשונה והשנייה:

תהא $f(x)$ גזירה פעמיים ברציפות בקטע $[a,b]$, יש לה שורש יחיד בקטע זה - $c$, ונניח שהנגזרת והנגזרת השנייה אינן משנות סימן בקטע. אם כל הערכים $(x_{0}-c),f'(x),f''(x)$ הם חיוביים, או ששניים מהם שליליים והשלישי חיובי, אז האיטרציה מתכנסת לפתרון.

במקרים אלו ניתן גם לתחום את גודל השגיאה, על ידי אי השוויון $|x_{n+1}-c|\leq {\frac {M}{2m}}(x_{n+1}-x_{n})^{2}$ כאשר $M=\sup _{a<x<b}|f''(x)|,\,m=\inf _{a<x<b}|f'(x)|$.

הוכחה

ההוכחה מתבססת על שימוש בטור טיילור מסדר שני. נראה אותה עבור המקרה הראשון - עבור שאר המקרים הרעיון זהה.

חלק א: הוכחת התכנסות

תהי $\left\{x_{n}\right\}_{n=0}^{\infty }$ הסדרה המתקבלת מאיטרצית ניוטון. נניח כי $x_{n}>c$. כעת נפתח את טור טיילור של $f$ סביב $x_{n}$, עם טעות מסדר שני:

$0=f(c)=f(x_{n})+f'(x_{n})(c-x_{n})+{\frac {f''(\xi )}{2}}(c-x_{n})^{2}=$

$=f'(x_{n})\left(c-x_{n}+{\frac {f(x_{n})}{f'(x_{n})}}\right)+{\frac {f''(\xi )}{2}}(c-x_{n})^{2}=$

כעת נשתמש בהגדרת הסדרה $\left\{x_{n}\right\}_{n=0}^{\infty }$ ונקבל:

$=f'(x_{n})(c-x_{n+1})+{\frac {f''(\xi )}{2}}(c-x_{n})^{2}=0$

נעביר אגפים:

$f'(x_{n})(x_{n+1}-c)={\frac {f''(\xi )}{2}}(c-x_{n})^{2}$

כעת נזכור כי על פי הנתון $f''(x)>0$ ולכן הביטוי באגף ימין חיובי. מכאן כי גם הביטוי באגף שמאל חייב להיות חיובי. על פי הנתון, $f'(x)>0$ ולכן בהכרח מתקיים:

$x_{n+1}-c>0$ כלומר $x_{n+1}>c$

הראינו שהסדרה חסומה מלרע על ידי $\,c$. כעת נראה שזו סדרה יורדת: על פי הנוסחה ידוע כי $x_{n+1}=x_{n}-{\frac {f(x_{n})}{f'(x_{n})}}$. הנגזרת חיובית, כלומר הפונקציה עולה בקטע, ומאחר ש-$x_{n}>c$ הרי ש-$f(x_{n})>f(c)=0$ ולכן ${\frac {f(x_{n})}{f'(x_{n})}}>0$ ומכאן שמתקיים $x_{n+1}<x_{n}$. הראינו שהסדרה יורדת.

משפט בסיסי באנליזה קובע כי סדרה יורדת וחסומה מלרע מתכנסת לגבול. אם כן, נסמן $\lim _{n\to \infty }x_{n}=L$. אז מתקיים: $\lim _{n\to \infty }x_{n}=\lim _{n\to \infty }x_{n+1}$ ולכן $L=L-{\frac {f(L)}{f'(L)}}$ ונקבל מיידית $f(L)=0$. מכיוון ש-$c$ הוא השורש היחיד בקטע, $L=c$. הראינו שהסדרה מתכנסת אל השורש המבוקש.

חלק ב': הוכחת הערכת השגיאה

נפתח הפעם את טור טיילור של $x_{n+1}$ סביב הנקודה $x_{n}$:

$f(x_{n+1})=f(x_{n})+f'(x_{n})(x_{n+1}-x_{n})+{\frac {f''(\xi )}{2}}(x_{n+1}-x_{n})^{2}=$

$=f'(x_{n})\left(x_{n+1}-x_{n}+{\frac {f(x_{n})}{f'(x_{n})}}\right)+{\frac {f''(\xi )}{2}}(x_{n+1}-x_{n})^{2}=$

$=f'(x_{n})(x_{n+1}-x_{n+1})+{\frac {f''(\xi )}{2}}(x_{n+1}-x_{n})^{2}={\frac {f''(\xi )}{2}}(x_{n+1}-x_{n})^{2}$

כעת, לפי משפט הערך הממוצע של לגראנז' קיימת $\eta \in (c,x_{n+1})$ המקיימת:

${\frac {f(x_{n+1})-f(c)}{x_{n+1}-c}}=f'(\eta )$ וקיבלנו:

$x_{n+1}-c={\frac {f(x_{n+1})}{f'(\eta )}}$. כעת נציב את $f\left(x_{n+1}\right)$:

$x_{n+1}-c={\frac {f''(\xi )}{2f'(\eta )}}(x_{n+1}-x_{n})^{2}<{\frac {M}{2m}}(x_{n+1}-x_{n})^{2}$.

ובכך הושלמה ההוכחה.

הכללות

לממדים גבוהים

בשנת 1879 פרסם המתמטיקאי ארתור קיילי לראשונה הכללה של השיטה לפונקציות מרוכבות.

בדומה, ניתן להכליל את השיטה גם לשדות סקלריים, באמצעות כלל הנסיגה,

$$x_{n+1}=x_{n}-\left(\mathbf {J} _{f}(x_{n})\right)^{-1}f(x_{n})$$

כאשר $\mathbf {J} _{f}(\mathbf {x} _{n})$ הוא מטריצת יעקבי של $f$ בנקודה $\mathbf {x} _{n}$.

לאופטימיזציה

במקרים רבים, אופטימיזציה מצריכה מציאת נגזרת של פונקציה והשוואתה לאפס. דרך אחת לבצע זאת היא על ידי שיטת ניוטון-רפסון לנגזרת. במילים אחרות, תחת קיומה של נגזרת שנייה ל-$f$ ותנאים טכניים נוספים, הסדרה שמוגדרת על ידי כלל הנסיגה

$$x_{n+1}=x_{n}-{\frac {f'\left(x_{n}\right)}{f''\left(x_{n}\right)}}$$

מתכנסת לנקודת קיצון של $f$.

קיימת הרחבה גם של שיטה זו לממדים גבוהים יותר.

השוואה לשיטות אחרות

יתרונה הגדול של שיטת ניוטון-רפסון הוא סדר ההתכנסות הריבועי. חסרונותיה העיקריים:

• השיטה לא תמיד מתכנסת.
• לא תמיד ניתן לחשב את הנגזרת ולעיתים החישוב מסורבל.

כדי להתגבר על החסרון הראשון, משתמשים לעיתים בשיטה אחרת, המבטיחה התכנסות (למשל שיטת החצייה), כדי להגיע לסביבת השורש, ושם מפעילים את שיטת ניוטון-רפסון. אם לא ניתן לחשב את הנגזרת, או שחישוב הנגזרת גוזל משאבי חישוב, משתמשים בשיטת המיתר, שסדר ההתכנסות שלה הוא קרוב לזה של שיטת ניוטון-רפסון.

אם השורש הוא בעל ריבוי גדול מ-1, השיטה תתכנס, אך קצב ההתכנסות לא יהיה ריבועי, אלא ליניארי (סדר ההתכנסות הוא 1). אם השורש הוא מסדר $\ m$ השיטה האיטרטיבית המוגדרת על ידי $x_{n+1}=x_{n}-m{\frac {f(x_{n})}{f'(x_{n})}}$ תתכנס, וקצב ההתכנסות יהיה ריבועי.

קישורים חיצוניים

מדיה וקבצים בנושא שיטת ניוטון-רפסון בוויקישיתוף

• שיטת ניוטון-רפסון, באתר MathWorld (באנגלית)   
• שיטת ניוטון רפסון במחשבון, סרטון באתר יוטיוב

הערך באדיבות ויקיפדיה העברית, קרדיט,
רשימת התורמים
רישיון cc-by-sa 3.0

32653831שיטת ניוטון-רפסון