Koiviston vanhemmat olivat sahanomistaja Adolf Koivisto ja Alma Aleksandra Serenius. Hän pääsi ylioppilaaksi 1927 ja suoritti teologian erotutkinnon 1931 sekä pastoraalitutkinnon 1934. Papiksi Koivisto vihittiin 1931. Hän toimi aluksi vuonna 1931 kirkkoherran apulaisena ja hiippakunta-apulaisena Alatorniolla sekä ylimääräisenä pappina Karungissa. Koivisto oli sitten vt. kirkkoherrana Ranualla 1931–1934 ja Sallan kirkkoherrana 1934–1972. Päätoimensa ohella Koivisto oli myös Lapin rajavartioston pastori 1935–1939, linnoitustyömaan pastori 1940–1941 ja suojeluskunnan kenttäpappi 1935–1944. Hän toimi lisäksi Kemijärven yhteiskoulun uskonnon opettajana 1940–1941 ja Sallan lukion uskonnon ja psykologian opettajana 1966–1972. Koivisto sai rovastin arvon 1955.
Koivisto oli kansanedustajana 1945–1966 edustaen Lapin läänin vaalipiiriä. Hän oli presidentin valitsijamies vuosien 1950, 1956, 1962 ja 1968 presidentinvaaleissa ja hän toimi kunnallispolitiikassa Ranuan kunnanvaltuuston jäsenenä ja Sallan kunnanvaltuuston puheenjohtajana. Koivisto kuului myös Kokoomuksen puoluevaltuustoon ja hän oli Lapin kansallisliiton puheenjohtaja.
Koivisto tunnetaan myös Itä-Lapin asutushistoriaa selvittäneenä sukututkijana.
Koivisto oli naimisissa vuodesta 1931 Hilkka Tellervo Lamminahon kanssa. Säveltäjä ja opettaja Jukka Karppinen on Erkki Koiviston tyttärenpoika.
