Davis var 1867 ledamot av Minnesota House of Representatives, underhuset i delstatens lagstiftande församling. Han arbetade som distriktsåklagare 1868-1873. Han blev sedan nominerad till republikanernas guvernörskandidat bland annat tack vare sin kritik mot den okontrollerade expansionen av nya järnvägar. Som guvernör upptäckte han att det var mycket svårt att kontrollera den tidens järnvägsbolag.
Vid tidpunkten för sin död var Davis inne i sin tredje mandatperiod i senaten. Han hade 1897 avancerat till ordförande i senatens utrikesutskott. I den egenskapen deltog han dessutom 1898 i fredsförhandlingarna efter Spansk-amerikanska kriget. Hans grav finns på Arlingtonkyrkogården.