In der Bundesliga schoss er 4 Tore in 15 Spielen für die Frankfurter Eintracht, aber seinen wohl wichtigsten Treffer erzielte er am 3. Juni 1981 in Düsseldorf. Mit der U18-Nationalmannschaft stand er im EM-Finale und er erzielte den goldenen Treffer zum 1:0-Erfolg über Polen.
Im gleichen Jahr stand er dann mit der U20 bei der Junioren-Weltmeisterschaft in Australien ebenfalls im Finale, und auch hier war er beim 4:0-Finalsieg gegen Katar mit einem Treffer beteiligt.
Bereits als aktiver Spieler absolvierte er als 31-jähriger die DFB-Ausbildung zum Fußball-Lehrer. Nach ersten Stationen beim 1.FC Saarbrücken, Kickers Offenbach und Werder Bremen war er von 1976 bis 1978 Trainer bei Borussia Dortmund und erlebte dort die höchste Niederlage der Bundesliga-Geschichte (0:12 gegen Borussia Mönchengladbach). Mit Fortuna Düsseldorf gewann er 1980 seinen ersten Titel als sie im DFB-Pokalfinale den 1.FC Köln mit 2:1 besiegen konnten.
Seinen großen Durchbruch hatte er dann bei Werder Bremen. Von 1981 bis 1995 machte er aus dem Aufsteiger eine Spitzenmannschaft. Er wurde 2 Mal Deutscher Meister (1988 und 1993) und 2 Mal DFB-Pokalsieger (1991 und 1994). 1992 bescherte er dem SV Werder den ersten internationalen Pokal als man im Finale des Europapokals der Pokalsieger den AS Monaco mit 2:0 besiegen konnte.
1995 wechselte er zum FC Bayern, wurde dort aber bereits vor Ende der ersten Saison entlassen obwohl er das Team ins UEFA-Pokal-Finale geführt hatte (welches die Bayern dann auch gewannen).
Er wechselte dann zu seinem früheren Verein 1.FC Kaiserslautern. Mit den Roten Teufeln schaffte er den Wiederaufstieg in die Bundesliga und ist bis heute der einzige Trainer der einen Aufsteiger in seiner ersten Saison auch in der Bundesliga direkt Deutscher Meister wurde.
Aber der größte Erfolg stand erst noch bevor: 2001 übernahm er die griechische Nationalmannschaft. Er führte sie 2004 zur Europameisterschaft, gewann dort das Eröffnungsspiel gegen Gastgeber Portugal überraschend mit 2:1 und qualifizierte sich durch das Unentschieden gegen Spanien (1:1) trotz der Niederlage gegen Russland (1:2) für die KO Phase. Nach Siegen gegen Frankreich (1:0) und Tschechien (1:0 nach Silver Goal) standen sie erstmals im Finale einer Europameisterschaft gegen die favorisierten Gastgeber Portugal. Und auch dort schaffte er die Überraschung, gewann 1:0 und brachte Griechenland den bislang einzigen Titel bei einem europäischem Turnier und ihm selbst den Spitznamen Rehakles.
2010 beendete er nach 9 Jahren seine Tätigkeit als Nationaltrainer und war damit deutlich länger und erfolgreicher im Amt als jeder griechischer Nationaltrainer vor ihm.