Hän on toiminut ennen yhteiskunnallista uraansa Neue Rhein-Neue Ruhr-Zeitung -lehdessä ja opiskellut Kölnissä ja Bonnissa historiaa, sosiologiaa ja valtio-oppia.
Luotuaan uran liberaalina, vapaana demokraattina FDP:ssä liittyi hän sosiaalidemokraatteihinSPD:hen ja tuli valituksi 1983liittopäiville, ulkoasiainvaliokuntaan. Vuosina 1987–1989 hän toimi Saksan sosiaalidemokraattien pää-äänenkannattajan, Vorwärtzin, päätoimittajana. Syyskuussa 1999 Verheugenista tuli Euroopan unionin komission jäsen vastuualueenaan laajentuminen. Vuonna 2004 hänestä tuli Euroopan unionin yritys- ja teollisuustoiminnan komissaari, jona hän toimi vuoteen 2010.
Verheugen on antanut Baltian asemaa Neuvostoliitossa käsitteleviä lausuntoja, mihin Venäjän ulkoasiainministeriö on reagoinut toteamalla, ettei Neuvostoliitolla ole anteeksipyydettävää Latvian, Liettuan ja Viron liittymisestä Neuvostoliittoon ja että Venäjä on jo pahoitellut aikaisemmin tapahtunutta.