I ungdomen tillbringade McCarthy ett år i kloster innan han började satsa på politiken. Han blev invald i representanthuset 1948 fram till 1959 och satt i senaten 1959-1971.
Han var stark motståndare till Vietnamkriget. McCarthy ställde upp i presidentvalet 1968 som "fredskandidat". I primärvalet i New Hampshire erhöll han 42 procent av rösterna mot den sittande presidenten Lyndon Johnsons 48 procent. Johnson fann detta så förödmjukande att han drog tillbaka sin kandidatur. McCarthy vann även primärvalen i Wisconsin, Pennsylvania och New York. Dock blev istället Hubert H. Humphrey demokraternas kandidat och denne besegrades sedan i presidentvalet av Richard Nixon.