Mit den Bayern wurde er mehrmals in Folge Deutscher Meister und auch DFB-Pokalsieger. Das sportlich erfolgreichste Jahr hatte er dann 2020 als der FC Bayern als erste deutsche Mannschaft das Sextuple feiern konnte. Neben der Deutschen Meisterschaft und dem DFB-Pokal gewannen sie in diesem Jahr die Champions League (1:0 im Finale gegen Paris Saint-Germain), den DFB-Supercup (3:2 gegen Borussia Dortmund wobei er den Siegtreffer erzielte), den UEFA-Supercup (2:1 nach Verlängerung gegen den FC Sevilla) und die Klub-WM (1:0 gegen UANL Tigres wo er als Spieler des Spiels geehrte wurde).
Nachdem er bereits für die Junioren-Nationalmannschaften aktiv war und mit der U19 2014 Europameister wurde (1:0 im Finale gegen Portugal), gab er für die A-Nationalelf 2016 sein Länderspieldebüt. Bei der EM in Frankreich (0:2 Halbfinalaus gegen Gastgeber Frankreich) erkämpfte er sich noch im gleichen Jahr einen Stammplatz und wurde direkt in das UEFA All-Star Team gewählt. 2017 gewann er dann mit der Nationalelf den FIFA-Konföderationen-Pokal durch ein 1:0 im Finale gegen Chile.
Nach 3 Jahren mit Darmstadt in der zweiten Bundesliga wechselte er 1987 zum Bundesligisten Hamburger SV. Nach anderthalb Jahren wechselte er im Winter 1989 zum 1.FC Kaiserslautern und bildete dort das Sturmduo mit Stefan Kuntz. 1990 stand er mit den roten Teufeln im Finale des DFB-Pokals und erzielte die ersten beiden Treffer beim 3:2-Erfolg über Werder Bremen. Ein Jahr später gewann er erstmals die Deutsche Meisterschaft und wechselte im gleichen Jahr zum FC Bayern München.
Auch mit den Bayern wurde er Deutscher Meister (1994) bevor er zum 1.FC Köln wechselte. Über Werder Bremen und Arminia Bielefeld kam er 2001 zum Karlsruher SC wo er 2 Jahre später seine Spielerkarriere beendete.
Im Mai 2003 kehrte er als Trainer zu seinem Heimatverein SV Darmstadt 98 zurück. Über den Zweitligisten Greuther Fürth kam er im Sommer 2008 in die Bundesliga zu Bayer 04 Leverkusen. Mit der Werkself erreichte er in der ersten Saion das DFB-Pokal-Finale, verlor dort jedoch mit 0:1 gegen Werder Bremen. Im gleichen Jahr wechselte er dann auf die Trainerbank des Hamburger SVs, auf die er nach einem 3-jährigen Gastspiel in Stuttgart im April 2015 erneut zurück kehrte.
Später trainierte er auch die Bundesligisten VfL Wolfsburg und Hertha BSC ehe er im Dezember 2022 erneut den Trainerposten beim VfB Stuttgart übernahm.
Im Sommer 1990 übernahm er dann die Profis des 1.FC Köln. Bundesweit bekannt wurde in dieser Zeit sein Ausspruch "Mach et, Otze!". Im Halbfinale des DFB-Pokals gegen den MSV Duisburg erhielt sein Spieler Frank Ordenewitz in der ersten Halbzeit eine gelbe Karte. Es war seine zweite im laufenden Wettbewerb und er wäre dann für ein mögliches Finale gesperrt. Bei einem Platzverweis hingegen hätte er die Strafe in der Bundesliga absetzen müssen und wäre beim DFB-Pokal-Finale wieder dabei. Beim Stand von 2:0 rief Rutemöller seinem Spieler diesen Satz zu und Frank Ordenewitz erhielt nach einem Foul in der 85. Minute die rote Karte. Leider war es etwas zu offensichtlich so dass neben einer Geldstrafe für Erich Rutemöller auch sein Spieler Frank Ordenewitz wegen unsportlichem Verhalten für das Pokal-Finale gesperrt wurde. Dort verloren die Geißböcke gegen Werder Bremen mit 3:4 im Elfmeterschießen (1:1 nach Verlängerung)
Während der Saison 1991/92 wechselte Rutemöller zu Hansa Rostock ehe er ab 1994 für den DFB arbeitete.
Mit dem 1.FC Kaiserslautern wurde er 1951 und 1953 Deutscher Meister. Bei der WM 1954 gehörte er zu den Stammspielern die in jedem Spiel zum Einsatz kamen.
Er verstarb als letzter Spieler der WM-Mannschaft von 1954 am 03. Dezember 2021.