המבנה שימש את מגורי מפקד כוחות הצבא הבריטיים באי, וכיום משמש כמוזיאון לכלי תה.
בית פלגסטאף נבנה בשנת 1846 על מנת לשמש כביתו של מפקד הצבא הבריטי בהונג קונג. במהלך הכיבוש היפני של הונג קונג נפגעו האגף המערבי והמזרחי של המבנה מהפצצות. שלטונות הכיבוש היפניים שיקמו את המבנה, והמבנה שימש כמגורי מפקד האי היפני.
לאחר שחרור הונג קונג שב המבנה לשמש את מפקד הצבא הבריטי במושבה, ושימש כבית המפקד עד שנת 1978.