1996 wurde er dann Trainer des VfB Stuttgarts. mit dem Magischen Dreieck Balakow, Élber und Bobic gewann er direkt in der ersten Saison den DFB-Pokal (2:0 gegen Energie Cottbus) und stand 1 Jahr im Finale des Europapokals der Pokalsieger welches der VfB allerdings mit 0:1 gegen den FC Chelsea verlor.
Nach weiteren Stationen bei anderen Vereinen wurde er 2004 Co-Trainer von Jürgen Klinsmann bei der deutschen Nationalmannschaft und war mitverantwortlich für das Sommermärchen bei der WM 2006. Nach der WM rückte er zum Cheftrainer auf und blieb dies bis nach der Europameisterschaft 2021.
In den nächsten 10 Jahren führte Jogi Löw die Nationalelf bei jedem großen Turnier mindestens ins Halbfinale: 2008 wurde das DFB-Team Vize-Europameister (0:1 gegen Spanien), 2010 WM-Dritter (erneut 0:1 gegen Spanien, diesmal im Halbfinale) 2012 EM-Halbfinale (1:2 gegen Italien).
Bei der WM 2014 gelang dann endlich der große Coup und die deutsche Elf wurde Weltmeister in Rio. 2016 ging es erneut ins EM-Halbfinale (0:2 gegen Gastgeber Frankreich). 2018 dann der tiefe Fall: Bei der WM in Russland schied das deutsche Team erstmals in seiner Geschichte bereits in der Vorrunde aus. Auch bei der EM 2021 lief es nicht viel besser: Zwar überstand man mit Müh und Not die Vorrunde, aber im Achtelfinale war dann bereits gegen England Schluß (0:2).