Nach nur einer Saison wechselte er nach Italien zu Inter Mailand, wurde da aber in die zweite Liga zu Ascoli Calcio verliehen. 1995 wechselte er dann in die Serie A zu Udinese Calcio wo er 1998 zum Torschützenkönig der ersten italienischen Liga wurde. Im gleichen Jahr verpflichtete ihn der AC Mailand mit dem er 1999 Italienischer Meister wurde. Nach je einem Jahr beim AS Monaco und Chievo Verona beendete er 2003 dort seine Spielerkarriere.
Zwischen 1996 und 2002 erzielte er für die deutsche Nationalmannschaft in 70 Länderspielen 37 Tore. Seinen spektakulärsten Auftritt hatte er direkt in seinem ersten Länderspieljahr bei der Europameisterschaft 1996 in England. Nachdem er in den KO-Spielen zuvor nur auf der Bank sass, wurde er im Finale gegen Tschechien in der 69. Minute eingewechselt und erzielte zunächst den 1:1-Ausgleich und in der Verlängerung das erste Golden Goal der EM-Geschichte und machte Deutschland somit zum Europameister.
Nach den eher enttäuschenden Turnieren 1998 (Viertelfinal-Aus bei der WM) und 2000 (Vorrunden-Aus bei der EM) wurde er im WM-Finale gegen Brasilien in der 74. Minute beim Stande von 0:1 eingewechselt. Die Wiederholung des Finales 1996 blieb allerdings aus, Deutschland verlor mit 0:2 und Oliver Bierhoff beendete seine Länderspielkarriere als Vize-Weltmeister.
Im Juli 2004 wechselte er dann auf die Funktionärsebene und wurde Teammanager der deutschen Nationalmannschaft. Nach anfänglichen Erfolge (WM-Dritter 2006, Vize-Europameister 2008, WM-Dritter 2010, EM-Halbfinalist 2012) erreichte die Euphorie ihren Höhepunkt mit dem Weltmeistertitel 2014 in Brasilien.
Mit neuen Marketingideen wie "Die Mannschaft" und "Fanclub Nationalmannschaft - powered by Coca-Cola" begann dann der Abstieg über den das Erreichen des EM-Halbfinals 2016 (0:2 gegen Gastgeber Frankreich) zunächst noch hinweg täuschen konnte. Bei der WM 2018 in Russland wurde man als Titelverteidiger Letzter in der Vorrunde hinter Schweden, Mexiko und Südkorea. Erstmals schied eine deutsche Nationalmannschaft bei einer WM bereits in der Vorrunde aus.
Bei der EM 2021 konnte sich die deutsche Elf mit Müh und Not durch eine 2:2 gegen Ungarn im letzten Spiel in München noch für die KO-Phase qualifizieren, schied aber dort bereits im Achtelfinale gegen England (0:2) aus. Es war das letzte Spiel von Bundestrainer Jogi Löw. Nach der EM übernahm Hansi Flick das Traineramt.
Bei der umstrittenen WM 2022 in Katar wiederholte sich dann das Vorrunden-Aus von 2018. Nach einer Niederlage gegen Japan (1:2) und einem Remis gegen Spanien (1:1) reichte das 4:2 gegen Costa Rica nicht aus um Japan oder Spanien noch von den ersten beiden Plätzen zu verdrängen. Im Dezember 2022 einigten sich der DFB und Oliver Bierhoff dann auf eine vorzeitige Auflösung seines bis 2024 laufenden Vertrags.
Deutschlandweit bekannt wurde er durch das Halbfinale im DFB-Pokal gegen Bayern München. Einen Tag nach seinem 18. Geburtstag erzielte er bei dem verrückten 6:6 insgesamt 3 Treffer, unter anderem den Endstand zum 6:6 in der 3. Minute der Nachspielzeit der Verlängerung. Das Wiederholungsspiel eine Woche später in München ging dann leider knapp mit 2:3 verloren.
Nach seinem Bundesliga-Debüt 1984 blieb er bis 1988 beim FC Schalke ehe er auch aufgrund des Schalker Abstiegs zum FC Bayern München wechselte. In seinen 6 Jahren bei den Münchnern wurde er 3 Mal Deutscher Meister und 2 Mal Vizemeister.
Während seiner Zeit bei Bayern München wurde er nach dem Vize-Weltmeistertitel 1986 dann 1990 in Italien mit der deutschen Nationalelf Weltmeisterm, unter anderem weil er als letzter Schütze im Elfmeterschießen gegen England im Halbfinale zum 5:4-Siegtreffer verwandelte. Insgesamt machte er zwischen 1984 und 1998 54 Länderspiele und trat nach der WM 1998 aus der Nationalmannschaft zurück.
1994 kehrte er zum FC Schalke 04 zurück und war dort 1997 am größten internationalen Erfolg der Schalker beteiligt als man im UEFA-Pokal nach Siegen über Kerkrade, Trabzonspor, Brügge, Valencia und Teneriffa im Finale auf den Favoriten Inter Mailand traf. Nach dem 1:0 im Hinspiel erzielten im Rückspiel die Italiener erst in der 85. Minute das 1:0 so dass das Spiel nach einer torlosen Verlängerung ins Elfmeterschiessen ging. Während alle 4 Schalker Schützen trafen (unter anderem Olaf Thon zum 2:0), konnte bei den Italienern nur Djorkaeff verwandelt und so gewann Schalke erstmals den UEFA-Pokal.
Nach dem Gewinn des DFB-Pokals sowohl 2001 (2:0 gegen Union Berlin) als auch 2002 (4:2 gegen Bayer Leverkusen) beendete Olaf Thon seine Spielerkarriere.
Bis 1986 spielte der Libero bei Borussia Dortmund ehe er 1986 in die Zweite Bundesliga zu Rot-Weiß Oberhausen wechselte. Von dort ging es ein Jahr später zu Fortuna Düsseldorf für die er in 6 Jahren 188 Spiele machte und mit der er 1989 als Zweitliga-Meister in die Bundesliga aufstieg.
Später trainierte er unter anderem den FC Augsburg, Dynamo Dresden und Preußen Münster.