Першая спроба пачаць палітычную кар’еру была ў 1932 годзе, калі Мак-Івен прымаў удзел у выбарах у парламент штата Вікторыя ад аграрнай партыі.
У 1934 годзе Джон Мак-Івен стаў членам федэральнага парламента ад той жа аграрнай партыі. Ён заставаўся ў парламенце да 1970 года, прадстаўляючы паслядоўна акругі Эчука (1934—1937 гады), Інды (1937—1949 гады), Марэй (1949—1970 гады). За гэты час Мак-Івен займаў шэраг міністэрскіх пастоў. Ён быў міністрам унутраных спраў ва ўрадзе Джозефа Лаянса (1937—1939 гады), міністрам замежных спраў, а затым міністрам грамадзянскай авіяцыі ва ўрадзе Артура Фадэна (1940—1941 гады), міністрам камерцыі і сельскай гаспадаркі ва ўрадзе Роберта Мензіса (1949—1956 гады). У 1950-х гадах Мак-Івен прымаў актыўны ўдзел у заключэнні Аўстраліяй міжнародных гандлёвых пагадненняў, у выніку якіх Вялікабрытанія перастала быць дамінуючай фігурай у знешнегандлёвых адносінах краіны. Падчас Другой сусветнай вайны, з 1940 па 1945 гады Джон Мак-Івен быў ваенным саветнікам.
Ён неаднаразова спрабаваў стаць лідарам аграрнай партыі, але яго спынялі Эрл Пэйдж, Кэмеран, Фадэн. Аднак змог заняць гэту пасаду толькі 26 сакавіка 1958 года. Разам з гэтым ён стаў намеснікам прэм’ер-міністра і выконваў гэтыя абавязкі падчас ад’ездаў як Роберта Мензіса, так і Гаральда Холта. Пасля таго, як Холт прапаў без вестак у снежні 1967 года, Мак-Івен на працягу трох тыдняў займаў пасаду прэм’ер-міністра. 10 студзеня 1968 года яго змяніў новы лідар лібералаў — Джон Гортан.