Herter valittiin Massachusettsin osavaltion edustajainhuoneeseen vuonna 1931, josta hänet vuonna 1942 valittiin Yhdysvaltain edustajainhuoneeseen. Vuosina 1953–1957 hän toimi Massachusettsin kuvernöörinä, kunnes hänet nimitettiin apulaisulkoministeriksi Dwight D. Eisenhowerin hallitukseen. Ulkoministeriksi hänet nimitettiin vuonna 1959.[1]