Baker efterträdde Donald Regan 1987 som Vita husets stabschef. Relationerna mellan Vita huset och senaten hade inte varit de bästa under Regans tid och USA:s presidentRonald Reagan ansågs vilja förbättra dessa relationer genom att utse Baker till ny stabschef. Baker själv hade ställt sig kritisk till Donald Regans maktutövning och ville ha en jämnare maktbalans mellan Vita huset och USA:s kongress. Baker efterträddes följande år av Kenneth Duberstein.
Baker tjänstgjorde ännu under George W. Bushs första mandatperiod som ambassadör. Han har varit gift med döttrar till två framträdande republikanska politiker. Hans första hustru Joy, som avled i cancer, var dotter till Everett Dirksen, långvarig minoritetsledare i senaten. Baker gifte om sig 1996 med Nancy Landon Kassebaum som är dotter till Alf Landon, republikanernas presidentkandidat i presidentvalet i USA 1936. Nancy Landon Kassebaum Baker är också själv en framträdande republikansk politiker; hon var ledamot av USA:s senat från Kansas 1978-1997.