Chovanec dlouhodobě hrál ve fotbalovém klubu Sparta, je několikanásobným šampionem Československa. Od ledna 2008 do roku 2011 působil jako hlavní trenér Sparty. Pod jeho vedením se Sparta dvakrát (v letech 1996 a 1997) stala mistrem České republiky. V roce 1998 byl jmenován trenérem českého národního týmu.

V letech 1998, 1999 a 2000 byl v České republice uznán jako trenér roku.

V současné době je Jozef Chovanec předsedou Komise rozhodčích FAČR. Stal se jím loni v červnu. „Má předpoklady pro to přispět ke zdaru komise. Jeho jméno je zárukou, že velké úkoly zvládne. Obklopil se odborníky. Kombinace manažera, fotbalové osobnosti a specialistů z řad rozhodčích je velmi funkční,“ okomentoval jeho zvolení předseda FAČR Martin Malík.