Johansson inledde sin fotbollskarriär i IFK Viksjö. Efter en kort sejour som junior i IF Brommapojkarna och AIK fortsatte han till Tyskland. Första klubben blev FC Bayern München, dit han värvades av Björn Andersson, som junior- och A-lagsspelare och därefter FC Nürnberg. Under tysklandsåren fick Johansson även spela i det svenska U21-landslaget, de sista två säsongerna som kapten. Hösten 2001 värvades han till engelska FC Blackburn Rovers där det efter debuten mot Liverpool som förlorades 4-1 blev totalt 86 Premier League-matcher, samt flera cupmatcher, och att få prova på spel i svenska A-landslaget de följande åren. Därefter avslutade han englandsvistelsen med två säsonger i den engelska andradivisionen med Leicester City FC.
Kontraktet med Leicester City FC gällde till och med säsongen 2006/07 ut vilket gjorde att han som Bosmanfall kunde skriva på för valfri klubb. Den 21 maj 2007 skrev Johansson kontrakt med AIK.[3][4]
Nils-Eric Johansson vann Bundesliga med Bayern 2000 och Bundesliga 2 med Nurnberg 2001. Han är Ligacupvinnare med Blackburn Rovers, efter seger i finalen i Cardiff 2002. Han är svensk mästare med AIK 2009.
År 2013 förlängdes Johanssons kontrakt till 2015.[5]