Über Kickers Offenbach und 1860 München wechselte er 1982 zu Werder Bremen wo er gleich in der ersten Saison Bundesliga-Torschützenkönig wurde. In seiner Zeit bei den Bremern wurde er 3 Mal Vize-Meister, und auch bei der WM 1986 belegte er mit der deutschen Nationalelf den zweiten Platz (2:3 im Finale gegen Argentinien).
Bei der folgenden WM 1990 glückte dann aber die Revanche. Nach einem unberechtigtem Platzverweis im Achtelfinale gegen die Niederlande konnte er in der 85. Minute des WM-Finales gegen Argentinien im Strafraum nur durch ein Foul gestoppt werden. Andi Brehme verwandelte den fälligen Strafstoß zum 1:0-Siegtreffer.
Zu dieser Zeit war Rudi Völler bereits für den AS Rom (1987 - 1992) aktiv. 1991 gewann er dann auch seinen ersten Vereinstitel, den italienischen Pokal. Im gleichen Jahr wurde er im UEFA-Pokal erneut Zweiter durch ein 0:2 und 1:0 im Finale gegen Inter Mailand.
1992 wechselte er dann nach Frankreich zu Olympique Marseille. Er war 1993 der erste deutsche Fußballer der die in dieser Saison neu ins Leben gerufene Champions League gewinnen konnte. Mit 1:0 besiegte er mit den Franzosen im Münchener Olympiastadion den AC Mailand.
1996 beendete er seine Spielerkarriere im Trikot von Bayer Leverkusen für die er noch 2 Jahre aktiv war.
Im Jahr 2000 übernahm er als Teamchef die deutsche Nationalmannschaft nach dem enttäuschenden Aus bei der EM in der Vorrunde. Bei der folgenden WM 2002 wurden er und sein Team erst im Finale von Brasilien (0:2) gestoppt.