Kanerva spelade under sin karriär främst som försvarare och inledde sin seniorkarriär i HJK Helsingfors. Säsongerna 1991 och 1992 spelade han för IF Elfsborg i Division 1. 1993 återvände Kanerva till Tipsligan där han gjorde en säsong i FinnPa innan han återvände till HJK Helsingfors (1994-1995). Under sin sista säsong som aktiv spelare 1998 lyckades han med HJK Helsingfors som hittills enda finska lag kvalificera sig för gruppspelet i Champions League.[2]
Under 2001 och 2002 var Kanerva assisterande tränare i HJK Helsingfors. Säsongen 2003 var hans första som huvudtränare för FC Viikingit i finska andra divisionen Ykkönen. Helsingforsklubben FC Viikingit slutade på tredje plats i serien och missade därmed uppflyttning till högsta serien. Följande säsong fick han ansvaret för Finlands U21 landslag och under hans tid som U21 förbundskapten lyckades Finland kvalificera sig för U21-Europamästerskapen 2009. Bedriften gjorde att Kanerva utsågs till årets tränare i finsk fotboll 2009.
Den 29 november 2010 meddelade Finlands bollförbund att Kanerva tillfälligt skulle ta över huvudansvaret för det finska fotbollslandslaget tills de hittat en permanent förbundskapten. Under Mixu Paatelainens tid som förbundskapten agerade Kanerva assisterande tränare. Då Paatelainen fick avgå efter att misslyckats med att kvalificera Finland för EM slutspelet 2016 blev Kanerva återigen tillförordnad förbundskapten. I december 2016 blev rollen som förbundskapten permanent för Kanerva.[3] I november 2019 blev han historisk när Finland, för första gången någonsin, lyckades kvala till EM.
Han har vunnit titeln Årets tränare i Finland tre gånger (2009, 2018 och 2019).