Lahtelan vanhemmat olivat maanviljelijä, kansanedustaja Matti Lahtela ja Briita Kaisa Heikkilä. Hän suoritti kadettikoulun 1941, palveli puolustusvoimissa ja jäi sotien jälkeen kapteenina reserviin. Hän toimi pioneerikomppanian päällikkönä ja prikaatin pioneerikomentajana. Vuonna 1965 hänet ylennettiin majuriksi. Hän oli avioliitossa vuodesta 1936 kirjailija Meeri Kyllikki Kallaksen (1917–1979) kanssa.[1][2] Kirjailija Markku Lahtela sekä elokuvaohjaaja ja -käsikirjoittaja Atro Lahtela ovat hänen poikiaan.[2][3]SDP:n entinen puoluesihteeri Mikael Jungner on hänen tyttärenpoikansa[4]. Kirjailija Silvo Lahtela[5] ja näyttelijä Johannes Lahtela[6] ovat hänen pojanpoikiaan.
Olavi Lahtelan puoliso Kyllikki Kallas herätti 1950-luvun lopulla huomiota Maalaisliiton silloista puoluesihteeriä Arvo Korsimoa ja eräitä muitakin puolueen näkyviä henkilöitä parodioineella näytelmälläänHerra puoluesihteeri. Näytelmän ensiesitys oli Suomen Kansallisteatterissa keväällä 1958. [7]
Lahtela toimi kansanedustajana 22.7.1958–29.12.1968 sekä ministerinä 1.11.1963–17.12.1963 kulkulaitosten ja yleisten töiden ministeriössä. Lisäksi hän toimi presidentin valitsijamiehenä neljä kertaa. Eduskunnan täysistunnossa Olavi Lahtela sai dramaattisesti kesken puheen pitämisen sairauskohtauksen, joka johti paikalla olleiden lääkärikansanedustajien antamasta ensiavusta huolimatta kuolemaan.[1][2]
Mourujärvi, Lea (toim.): ”Jos tikka on kirjava, elämä on kirjavampi.” Elämäntarinoita Kemijärveltä, s. 298–300. Kemijärvi: Kemijärven Rotaryklubi, 2004. ISBN 952-91-7355-5.