Bereits mit 17 Jahren nahm er an einem Schiedsrichter-Lehrgang teil und leitete mit 31 Jahren Spiele der italienischen Serie A. 1995 wurde er in die Liste der FIFA-Schiedsrichter aufgenommen und nahm 1 Jahr später an seinem ersten großen Turnier teil: Bei den olympischen Spielen 1996 pfiff er 5 Spiele, unter anderem das Finale zwischen Nigeria und Argentinien (3:2).
1999 leitete er erstmals ein Champions League Finale. Aus deutscher Sicht ist einigen das Endspiel zwischen Bayern München und Manchester United (1:2) allerdings nicht in guter Erinnerung. Es folgte 2002 das WM-Finale zwischen Brasilien und Deutschland (2:0) sowie 2004 das UEFA-Pokal-Endspiel zwischen dem FC Valencia und Olympique Marseille (2:0).
Die EM 2004 war sein letztes großes Turnier da er ein Jahr später mit 45 Jahren das Höchstalter für internationale Spiele erreichte.
Im Juli 2010 wurde er dann Chef der UEFA-Schiedsrichter und 2017 schließlich auch Chef der FIFA-Schiedsrichter-Kommission.
Obwohl Konrad Koch eher Anhänger des Rugby-Spiels war, setzte er sich auch für die Akzeptanz des Fußballspiels ein. 1875 legte Koch das erste Fußball-Regelwerk vor und gründete im selben Jahr den ersten deutschen Fußballverein, der aber Rugby spielte. Erst die zweite, erweiterte Auflage von 1885 enthielt auch die Regeln für Assoziationsfußball. Kochs Ziel war es, bei der Einführung des Fußballs im Schulsport den Schülern, neben der Körperertüchtigung, ethische Werte wie Disziplin und Teamgeist zu vermitteln.
Widerstände gab es insbesondere aus dem Lager der Turner. Diese verunglimpften das Fußballspiel als „Fußlümmelei“, „Stauchball“ und „Englische Krankheit“. Dennoch verbreitete sich der Fußballsport in rasantem Tempo, Im Mai 1895 wurde Koch das Ritterkreuz II. Klasse vom Orden Heinrichs des Löwen verliehen.