Er wechselte dann auf die Trainerbank und übernahm 1998 bei Borussia Dortmund erstmals den Posten des Cheftrainers bei einem Bundesligisten. 2000 wechselte er zum DFB und führte als zweiter Mann neben Rudi Völler die Nationalelf zur Vize-Weltmeisterschaft 2002.
2005 wechselte er zurück in die Bundesliga und wurde Cheftrainer von Bayer 04 Leverkusen. Später übernahm er unter anderem Hertha BSC, Eintracht Frankfurt, Galatasaray Istanbul und Grashopper Zürich.