Seine Profikarriere begann er 1988 bei Girondins Bordeaux. Der größte Erfolg war das Erreichen des UEFA-Pokal-Finales 1996 wo er trotz Niederlage gegen Bayern München (0:2 und 1:3) einen guten Eindruck hinterließ und nach einem Jahr bei Athletic Bilbao 1998 zum FC Bayern München wechselte.
Mit dem FC Bayern wurde er 6 Mal Deutscher Meister sowie 5 Mal DFB-Pokalsieger. Nach der unglücklichen Niederlage im Finale der Champions League 1999 gegen Manchester United (1:2) gewann er den Titel dann 2001 durch ein 5:4 im Elfmeterschießen (1:1 nach Verlängerung) gegen den FC Valencia. Auch den Weltpokal gewann er im gleichen Jahr gegen CA Boca Juniors durch ein 1:0 nach Verlängerung.
Rund um die Jahrtausendwende hatte er auch mit der französischen Nationalmannschaft seine erfolgreichste Zeit. Er wurde 1998 im eigenen Land Weltmeister (3:0 im Finale gegen Brasilien) und 2 Jahre später Europameister durch ein 2:1 per Golden Goal im EM-Finale gegen Italien. Im folgenden Jahr gewann er dann mit Frankreich auch den Confed-Cup (1:0 gegen Japan) ebenso wie 2003 (1:0 durch Golden Goal gegen Kamerun).
2004 wechselte er zurück nach Frankreich zu Olympique Marseille, kam aber bereits in der Winterpause zurück zum FC Bayern da sich sein Nachfolger Philipp Lahm schwer verletzte.
Zum Ende der Saison 2006 beendete der Franzose dann seine aktive Spielerkarriere.
1995 wechselte er zum Bundesligisten TSV 1860 München und 4 Jahre später weiter zu Eintracht Frankfurt. Über Sturm Graz kam er 2003 in der Winterpause zum VfB Stuttgart und wurde noch im gleichen Jahr Vizemeister.
Am 3. Januar 2006 beendete er seine Spielerkarriere und wurde beim VfB Stuttgart Sportdirektor. Er stellte Armin Veh als neuen Trainer ein der nur ein Jahr später überraschend die deutsche Meisterschaft gewann. Das DFB-Pokal-Finale im gleichen Jahr verlor der VfB mit 2:3 nach Verlängerung gegen den 1.FC Nürnberg.
2009 rückte Heldt in den Vorstand des VfBs auf, wechselte jedoch bereits ein Jahr später in den Vorstand des FC Schalke 04, zuständig für den Bereich Sport und Marketing. Im März 2011 verpflichtete er Ralf Rangnick als Trainer der nur wenige Monate später bereits den DFB-Pokal gewann (5:0 im Finale gegen den Zweitligisten MSV Duisburg).
Auf Schalke blieb Heldt bis zum Sommer 2016 ehe er dann Manager bei Hannover 96 und im November 2019 Sport-Geschäftsführer des 1.FC Köln wurde.