Laget spelade sin första landskamp som Sydrhodesia den 26 maj 1939, och förlorade med 0-4 hemma mot en engelsk FA-elva. Som det självständiga Zimbabwe spelade man sin första landskamp den 20 april 1980, och slog Moçambique hemma med 6-0.
2004 kvalade sig Zimbabwe till African Nations Cup. Man gick vidare som en av de bästa grupptvåorna, trots en pinsam 1-2-förlust mot lilla Seychellerna. I gruppen hamnade man Egypten, Kamerun och Algeriet där Zimbabwe sågs som det svagaste laget. Första matchen var mot Egypten, Zimbabwe tog ledningen efter pausen med Peter Ndlovu som gjorde 1-0. Men ungefär en kvart senare gjorde Egypten 1-1 och några minuter senare blev det 1-2, och Egypten vann med 1-2. I nästa match mot Kamerun ansågs Zimbabwe inte prestera bra, men det blev en överasskning. Ndlovu gjorde 1-0 efter 8 min, men mellan 31 och 40:e minuten gjorde Kamerun tre mål, och det stod 1-3 till Kamerun. Efter pausen gjorde Ndlovu sitt tredje mål i turneringen och sitt andra i matchen och det stod 2-3. Sedan gjorde Kamerun två mål så det stod 2-5 till Kamerun. Men Nyandoro från Zimbabwe gav laget ett tröstmål och gjorde 3-5, och matchen slutade 3-5. Nästa match mot Algeriet var inget mer än betydelselös. Efter en halvlek stod det 0-0. Lupahla gjorde 1 och 2-0 till Zimbabwe, men Algeriet gjorde 2-1. Matchen slutade 2-1, Zimbabwe slutade med 3 poäng och 6-8 i målskillnad, men även om man kom sist i gruppen visade man att man var en bra motståndare. 2006 var Zimbabwe återigen tillbaks. Denna gång var Nigeria, Senegal och Ghana motståndarna, och Zimbabwe utsågs återigen som det svagaste laget i gruppen. Man började möta Senegal. Första halvleken var en överasskning då det stod 0-0. Men när en timme gått gjorde Senegals Camara 0-1 till Senegal. Tjugo minuter senare gjorde Senegal 0-2, och det blev 0-2 till Senegal. Mot Nigeria nästa match stod det också 0-0 i första halvlek. Men i den 57:e och 60:e minuten gjorde Nigeria 0-1 respektive 0-2. Nästa match var mot Ghana. Ännu en gång stod det 0-0 i första halvlek. Men nu gjorde Zimbabwe 1 och 2-0. Men det blev 2-1, och man kom sist i gruppen.
