2001 wechselte er dann beim gleichen Club auf die Trainerstelle. In seiner ersten Saison als Trainer verpasste er 2002 den Aufstieg in die Bundesliga um 1 Punkt, in der darauf folgenden Saison um 1 Tor. 2004 war es dann soweit und er führte den FSV Mainz 05 erstmals in die Bundesliga. In den beiden folgenden Saisons wurden die Mainzer jeweils Elfter und qualifizierten sich 2005 über die Fair-Play-Wertung erstmals für den UEFA-Pokal. Sie schafften zwar die Qualifikation, scheiterten aber dann in der ersten Runde am späteren Pokalsieger FC Sevilla (0:0 und 0:2).
2008 wechselte er dann zu Borussia Dortmund. In den folgenden 7 Jahren wurde er 2 Mal Deutscher Meister (2011 und 2012) und gewann 2012 den DFB-Pokal (5:2 gegen Bayern München). 2013 stand er mit dem BVB im Champions League Finale, verlor aber im Londoner Wembley-Stadion mit 1:2 gegen den FC Bayern.
Nach einer schwachen Saison trennten sich der BVB und Kloppo im Sommer 2015. 3 Monate später wurde er beim FC Liverpool der zweite deutsche Cheftrainer der Premier League wurde (nach Felix Magath beim FC Fulham im Jahr 2014). Mit den Reds wurde er 2020 Englischer Meister sowie 2019 und 2022 Vize-Meister. Zudem stand er mit Liverpool 3 Mal im Finale der Champions League: 2019 gewann er in Madrid mit 2:0 im englischen Finale gegen Tottenham Hotspur, aber sowohl 2018 (1:3) als auch 2022 (0:1) verließ er jeweils gegen Real Madrid als Verlierer den Platz.
Zusätzlich zu den Clubtiteln gewann er auch mehrere persönliche Auszeichnungen, z.B. FIFA-Welttrainer des Jahres (2019, 2022), Premier League Manager der Saison (2020, 2020) und Deutschlands Fußballtrainer des Jahres (2011, 2012, 2019).