I november 2009 presenterades Karlsson som Helsingborgs IF:s nya tränare men bara tre veckor senare framkom att han saknade formell utbildning och därför under 2010–2011 blev tvungen att gå steg 1–3 inom tränarnas officiella utbildning.
Säsongen 2011 ledde han laget till seger i alla svenska fotbollsmästerskap: Svenska Supercupen, Allsvenskan och Svenska Cupen. Man blev därmed den dittills enda svenska klubben som lyckats med bedriften under en säsong.
Conny Karlsson är också en av få personer som vunnit SM-guld både som tränare och spelare. År 2015 hade han inga tränaruppdrag alls och sedan 2017 är han ansvarig huvudtränare för Stattena IF: damlag i div 1 södra från Helsingborg där han även bor.