ב-24 באוגוסט 1814 כבשו כוחות הצבא הבריטי את העיר וושינגטון במתקפה שביצעו כחלק ממלחמת 1812. הנשיא ג'יימס מדיסון נמלט לוירג'יניה והבריטים שרפו את העיר, לרבות את הקפיטול ואת בית הנשיא. כדי לכסות את הפיח שכיסה את בית הנשיא נצבע הבית בלבן - מה שיצר אגדה כי מאז הוא נקרא הבית הלבן, למרות שצבעו היה לבן מרגע בנייתו.
