Karume on työskennellyt pitkään Sansibarin hallinnossa ja pitänyt hallitusvirkoja 1970-luvulta asti. 1980-luvulla hän oli brittiläisen konsulttiyrityksen palveluksessa. Hän palasi politiikkaan vuonna 1990. Karume valittiin presidentiksi vuonna 2000 epämääräisesti järjestetyissä vaaleissa.