Klubben grundades av tre baskiska studenter i Madrid den 26 april1903.[1] Under 1900-talet och 1910-talet sågs klubben som en gren av baskiska Athletic Bilbao.[1] 1939, efter det spanska inbördeskriget bytte klubben namn när det slogs ihop med laget Aviación Nacional från Zaragoza. Det nya namnet blev Atlético Aviación de Madrid.[2]
Klubben vann sin första ligatitel 1940, och försvarade titeln 1941. 1947 fick klubben sitt nuvarande namn, Club Atlético de Madrid. 1966 invigdes klubbens nya hemmaarena Estadio Vicente Calderón, där man skulle komma att spela fram till 2017.
Klubben vann sin första Europa League-titel 2010.[3]
Under klubbens mest framgångsrika säsong (2013/2014) vanns La Liga-titeln (första gången sedan 2004 som ett annat lag än Barcelona och Real Madrid vunnit La Liga), och nådde dessutom finalen i Uefa Champions League där Real Madrid vann med 4–1. I augusti 2014 vann klubben andra Spanska cupen-titeln efter 29 år, mot rivalen Real Madrid. Säsongen 2015/2016 avancerade Atlético Madrid åter till final i Champions League, detta efter att ha slagit ut bland andra Barcelona och Bayern München. Finalen fick avgöras på straffar efter 1–1 vid full tid och en mållös förlängning, där återigen Real Madrid stod för motståndet och segrade.
Från början spelade Atlético Madrid i blått och vitt. En av klubben utsänd representant åkte till England 1911 för att införskaffa nya blåvitrandiga tröjor från Blackburn Rovers. Han misslyckades med detta och kom hem med rödvitrandiga Southampton-tröjor istället. Atlético Madrid har sedan dess spelat i rödvitrandigt men har behållit de blå shortsen.[4]