Er debütierte 1982 für Rot-Weiß Essen und schoß bereits nach 3 Minuten sein erstes Tor.Insgesamt erzielte er 32 Tore in 65 Spielen in der Zweiten Bundesliga ehe er im Winter 1984/85 zu Borussia Dortmund wechselte. In der folgenden Saison erzielte er im Relegations-Rückspiel gegen Fortuna Köln nach der 0:2-Hinspielniederlage den 3:1-Siegtreffer in der letzten Spielminute und rettete den BVB in ein Entscheidungsspiel welches die Dortmunder dann mit 8:0 gewannen. Daraufhin erhielt er einen Stern auf dem BVB Walk of Fame obwohl (oder weil?) zu dem Zeitpunkt sein Wechsel zum Rivalen Schalke 04 bereits feststand.
Nach nur 1 Jahr auf Schalke wechselte er zum FC Bayern wo er gleich zu Beginn der neuen Saison den DFB-Supercup gegen den Hamburger SC gewann. Sein Siegtreffer zum 2:1 in der 87. Minute ärgerte den HSV-Torhüter Uli Stein so sehr das dieser sich zu einem Faustschlag gegen Wegmann hinreissen liess.
1989 wurde er mit den Münchnern Deutscher Meister wobei er in dieser Saison mit einem Seitfallzieher auch das Tor des Jahres erzielte. Anschließend wechselte er für 3 Jahre zurück zum BVB und ließ 1995 verletzungsbedingt seine Karriere beim FSV Mainz 05 ausklingen.
Nach der deutschen Meisterschaft 1962 mit dem 1.FC Köln wurde er zu Deutschlands Fußballer des Jahres gewählt und gewann später mit dem AC Mailand alle international bedeutenden Titel. Im Finale des Europapokals der Landesmeister besiegte er mit dem AC Milan Ajax Amsterdam mit 4:1. Den Europapokal der Pokalsieger gewann er gleich 2 Mal: 1968 durch ein 2:0 im Finale gegen den Hamburger SV, 1973 durch ein 1:0 gegen Leeds United. Zudem wurde er 1968 Italienischer Meister sowie 4 Mal Italienischer Pokalsieger.
Für die Deutsche Nationalmannschaft war er von 1958 bis 1971 aktiv. Mit ihr wurde er bei der WM 1958 Vierter sowie 1966 in England Vize-Weltmeister (2:4 nach Verlängerung im Finale gegen England).
Bei der WM 1970 erzielte der Abwehrspieler sein einziges Tor für die Nationalelf, ausgerechnet gegen seine Wahlheimat Italien im Halbfinale. Es lief bereits die 91. Spielminute als er die 1:0-Führung der Italiener ausgleichen konnte und so überhaupt erst das Jahrhundertspiel ermöglichte als sich die Italiener mit 4:3 nach Verlängerung durchsetzten und Deutschland am Ende Dritter wurde.
Er verstarb am 20.05.2024 im Alter von 85 Jahren in Mailand.