Terrell studerade juridik och inledde 1882 sin karriär som advokat i Georgia. Han var delstatens justitieminister (Georgia Attorney General) 1892–1902. Han efterträdde 1902 Allen D. Candler som guvernör i Georgia. Terrell profilerade sig speciellt inom utbildningspolitiken. Han efterträddes 1907 av M. Hoke Smith.
Senator Alexander S. Clay avled 1910 i ämbetet. Terrell utnämndes till senaten. Han drabbades i februari 1911 av ett slaganfall. Han avgick senare samma år och efterträddes av M. Hoke Smith. Terrell avled 1912 i en njursjukdom.
