Er leitete das Finale der U19-EM 2009 (Deutschland - England 4:0) sowie den UEFA Supercup 2011 (Barcelona - FC Porto 2:0). Nach 2 Partien bei der EM 2012 leitete er das Finale der UEFA Europa League 2013 zwischen dem FC Chelsea und Benfica Lissabon (2:1) und als vorläufigen Höhepunkt das Finale der UEFA Champions League 2014 zwischen Real und Atletico Madrid (4:1 nach Verlängerung).
Es folgten u.a. weitere Einsätze bei den Weltmeisterschaften 2014 und 2018 sowie der Europameisterschaft 2016 und dem Finale der UEFA Europa League 2018 zwischen Atletico Madrid und Olympique Marseille (3:0).
Trotz überschrittener Altersgrenze von 45 Jahren durfte er mit einer Sondergenehmigung auch bei der Europameisterschaft 2021 pfeifen. Nach seinem letzten internationalen Einsatz, dem EM-Finale 2021 zwischen Italien und England (3:2 im Elfmeterschießen, 1:1 nach Verlängerung), beendete er im Sommer 2021 seine Schiedsrichterkarriere.
1928 wechselte er dann auf die Trainerbank und wurde 1932 Co-Trainer der deutschen Nationalelf. 1936 wurde er dann zum Nationaltrainer ernannt. Bei seiner ersten WM 1938 schied die deutsche Elf bereits nach dem ersten Spiel gegen Schweiz aus (1:1, 2:4 im Wiederholungsspiel). Dies lag auch an politischen Gründen, denn nach dem Anschluss Österreichs 1938 bestand man darauf, das er das Nationalteam zu gleichen Teilen aus Deutschen und Österreichern besetzt. Angesichts der unterschiedlichen Spielsysteme und Antipathien innerhalb der Mannschaft war ein erfolgreiches Abschneiden nicht möglich.
Nach dem Zweiten Weltkrieg durfte Deutschland an der WM 1950 nicht teilnehmen, qualifizierte sich dann aber für die folgende WM 1954 in der Schweiz. Nach der deutlichen 3:8-Niederlage in der Vorrunde gegen das damalige Wunderteam aus Ungarn war die Stimmung im Land eher gedrückt, aber der Trainerfuchs hatte diese Niederlage bewusst in Kauf genommen. Im Entscheidungsspiel gegen die Türkei (7:2) qualifizierte man sich dann souverän für die KO-Runde wo man nach Siegen gegen Jugoslawien (2:0) und Österreich (6:1) im Finale stand.
Erneut traf man dort auf Ungarn. Nachdem die Ungarn bereits nach 8 Minuten mit 2:0 führten, wurden Erinnerungen an das 3:8 aus der Vorrunde wach. Aber das deutsche Team wehrte sich schnell und erzielte schon 10 Minuten später den Ausgleich. Bei dem 2:2 blieb es bis zur 84. Minute als dann Helmut Rahn außerhalb des Strafraums abzog und den 3:2-Siegtreffer erzielte. So führte Herberger das deutsche Team erstmals zu einem WM-Titel. Für die Ungarn hingegen war es in den 4 Jahren von 1951 bis 1955 die einzige Niederlage die sie hinnehmen mussten.
Auch bei der folgenden WM 1958 gelangte das deutsche Team erneut ins Halbfinale, verloren dort aber gegen Gastgeber Schweden mit 1:3. Bei der WM 1962 in Chile war dann bereits nach dem Viertelfinale Schluß als man durch ein spätes Tor mit 0:1 gegen Jugoslawien unterlag. Er erklärte seinen Rücktritt zum Sommer 1964.
Er verstarb am 28.April 1977 in seiner Heimatstadt Mannheim.