Graham avlade 1959 grundexamen vid University of Florida. Han avlade 1962juristexamen vid Harvard Law School. Han blev 1966 invald i Florida House of Representatives, underhuset i delstatens lagstiftande församling. Han var ledamot av delstatens senat 1970-1978. Graham valdes 1978 till guvernör i Florida och omvaldes fyra år senare. Han besegrade ämbetsinnehavaren Paula Hawkins i senatsvalet 1986. Han omvaldes 1992 och 1998.