בשנת 1927 התגייס ל"הגנה" ופתח בקריירה צבאית. ב-1935 מונה לחבר מרכז ההגנה, ומאוחר יותר הפך לממונה על הרכש והחימוש.
ב-1939 נאסרו חברי ההגנה על ידי הבריטים בכלא עכו. במהלך מאסרם, התגנב גלילי לכלא בתחפושת של שרברב, כדי להניא את האסירים ממחשבות בריחה.[1]
בתקופת מלחמת העולם השנייה השתתף בהכנות לפלישה גרמנית לארץ. בתקופת פעולתה של תנועת המרי העברי, שהייתה ארגון גג של המחתרות היהודיות בארץ ישראל, כיהן גלילי יחד עם משה סנה כנציג "ההגנה" בהנהגת התנועה. בשנת 1947 התמנה לראש המפקדה הארצית של הארגון (רמ"א).
בראשית מלחמת העצמאות, לפני הכרזת המדינה, עסק בארגון והקמת שירות האוויר, שהפך לחיל האוויר, וכן בהקמתם של השירותים שהפכו לאחר מכן לחילות השריון, הים והתותחנים. ב-3 במאי1948 ביטל דוד בן-גוריון את תפקיד הרמ"א. ראשי האגפים במטה הכללי של ההגנה הציגו לדוד בן-גוריון אולטימטום בדרישה להחזיר את גלילי לתפקידו. פרשה זו מכונה "מרד הגנרלים". בן-גוריון הסכים להחזירו לתפקידו עד אשר מנהלת העם (הגוף המבצע העליון של היישוב בתקופה שבין החלטת האו"ם לבין הכרזת המדינה) תקבע נהלים לניהול המלחמה ותקנים למפקדיה.
ערב הכרזת המדינה השתתף גלילי בישיבת מנהלת העם שדנה בשאלה האם להכריז על הקמת המדינה. ביוני1948 ניהל גלילי את המשא ומתן עם האצ"ל והלח"י על צירופם לצה"ל. גלילי ניהל את המשא ומתן עם מנחם בגין על גורל אוניית הנשק אלטלנה. שנים לאחר-מכן, ציין שמעון פרס, בעניין זה, ש"היה מי שהטעה את בן-גוריון. הוא היה ישר כסרגל ופעל לפי ההנחיות של גלילי". בן-גוריון, בריאיון לאחר מכן, סירב להתייחס לאפשרות שקיבל מידע לא-נכון מגלילי.[2] גלילי גם עסק ברכש נשק מחו"ל. עם הקמתו הרשמית של צה"ל השתתף גלילי, יחד עם בן-גוריון, בהשבעת סגל הפיקוד העליון של צה"ל.
בשנת 1963 התאבד בנו, יונתן. בעקבות מותו יצא הספר "יונתן גלילי, אביב קצר" - אוסף ממכתביו. בשנת 1986 נפטר גלילי. הוא הותיר אחריו אישה ובן - שלמה, אביה של אשת התקשורת עינב גלילי. אחותו של גלילי, אסתר ברצ'נקו שאול היא סבתו של הבמאי דרור שאול שכתב וביים את הסרטים מבצע סבתא, על פי סיפור לווייתה, ואדמה משוגעת.
ישראל גלילי בבסיס צה"ל בסיני משתתף בתוכנית "קלידוסקופ" עם חיים יבין מהטלוויזיה הישראלית.במוקדי עשיה והכרעה / מנאומיו ומסותיו של ישראל גלילי / ערך שלמה דרך, תל אביב: הקיבוץ המאוחד, 1987
טעם המערכה, תל אביב: הקיבוץ המאוחד, 1987
אל ועל: איגרות ודמויות, אפעל: מרכז ישראל גלילי - יד טבנקין, 1990
↑הבר, היום תפרוץ מלחמה זכרונותיו של תא"ל ישראל ליאור. עידנים/ידיעות 1987. עמ' 119–120: "ראש וראשון ליועצים ולאנשים הקרובים בלשכת רה"מ היה השר ישראל גלילי...עצם ישיבתו בלשכת רה"מ, בקרבת רה"מ, הייתה לתועלת רבה לאשכול".
↑אסנת שירן, "חצי יובל להקמת המרכז לחקר כוח המגן מייסודו של ישראל גלילי", בתוך: ניר מן (עורך), עלי זית וחרב: קו התלם, יא, ירושלים: כרמל והמרכז לחקר כוח המגן מייסודו של ישראל גלילי, 2011, עמ' 272-265