את דרכו הפוליטית החל כיו"ר אגודת הסטודנטים באוניברסיטת בר-אילן. כחבר בתנועת המפד"ל, נמנה יחד עם חברו יהודה בן-מאיר על ראשי "הצעירים" שקראו תגר על המנהיגות הוותיקה - יוסף בורג, זרח ורהפטיג ואחרים. נבחר לכנסת השביעית ומאז כיהן כח"כ עד יום מותו. בפברואר 1974 היה ממקימי "גוש אמונים", אך בהמשך דרכו הפוליטית ובמיוחד מאז מונה לשר בממשלה התמתנו דעותיו לכיוון הפלג המרכזי המתון בתנועה.

בנובמבר 1975, מספר חודשים לאחר פטירת השר יעקב מיכאל חזני, נבחר המר למלא את מקומו, ונכנס לראשונה לממשלה כשר הסעד. הוא פרש יחד עם שרי המפד"ל ב-22 בדצבמר 1976. לאחר המהפך מונה זבולון המר לתפקיד שר החינוך, וכיהן בתפקיד במשך 7 שנים. המר היה ידוע כאישיות פדגוגית. הוא הצליח לבטל את שכר הלימוד בתיכון ולהנהיג חינוך חינם כבר בקדנציה הראשונה שלו.

בשנת 1996 נבחר המר לכהן כהונה שלישית כשר החינוך. נוסף לכך כיהן המר כסגן ראש הממשלה, ובחלק מהקדנציה גם כשר הדתות. המר כיהן בתפקידים אלו עד יום פטירתו.

  המר כשר חינוך ביצע מספר רב של פעולות לעיצוב סדר היום החינוכי של תלמידי ישראל: הוא יזם את יום הלימודים הארוך, הכניס לספרי הלימוד את תולדות מורשת יהדות המזרח, החינוך היהודי בתפוצות והקשר לישראל. הוא הקים תנועה של בתי-ספר קהילתיים, האמין וטיפח מתן אוטונומיה חינוכית לבתי-ספר, יזם הקמת רשת של מוסדות חינוך ותרבות יהודיים במדינות חבר-העמים והניח את היסודות לפרויקט נעל"ה (נוער עולה ללא הורים).