Kaskela oli kiinnostunut paitsi ammattilaisurheilusta, myös kunto- ja työpaikkaliikunnan kehittämisestä. Hänellä oli myös henkilökohtaisia saavutuksia urheilussa, kuten korkeushypyn akateeminen mestaruus. Hänen harrastuksiinsa kuuluivat muun muassa hiihto, pesäpallo, uinti ja jalkapallo. Vuonna 1919 Kaskela voitti kahdensadan kilpailijan joukosta SortavalanSuojeluskuntapiirin 25 kilometrin marssikilpailun kantamuksinaan 15 kilogrammaa hiekkaa ja 150 patruunaa. Kaskela oli niin ikään innokas hiihtovaeltaja Lapin tuntureilla. Hänen lähtökohtansa oli kansallinen ja kansanterveydellinen: "Kansalaisten piti liikunnassa kokea riemastuttavia elämyksiä, mutta tuntea samalla toimivansa Suomen kansan parhaaksi." Kaskela toimi 1920-luvulla Suojeluskuntain Yleisesikunnan urheilutarkastajana, jonka jälkeen hän siirtyi Heinolan maalaiskunnanVierumäelle perustetun Suomen urheiluopiston ensimmäiseksi rehtoriksi vuosiksi 1928–1939. Olympiavuonna 1932 Akseli Kaskelasta tuli myös Suomen Urheilulehden vakituinen toimittaja vajaan vuoden ajaksi. Kaskelasta tuli vuonna 1941 Suomen Työnantajain Keskusliiton (STK) urheiluasiamies. Tässä tehtävässä hänen tavoitteenaan oli Suomen urheilun ja liikuntaelämän säilyttäminen kansallismielisten voimien käsissä.
Toisen maailmansodan jälkeen Kaskelasta tuli SVUL:n ensimmäinen varapuheenjohtaja, jolloin hän toimi usein V. A. M. Karikosken sijaisena, koska tämä päätoimessaan STK:n toimitusjohtajana joutui toimimaan tiiviisti ajankohtaisissa työ- ja palkkariidoissa. Kesällä 1947 SVUL:n ensimmäisissä Suomen Suurkisoissa Kaskela toimi järjestelytoimikunnan puheenjohtajana. Vuodesta 1949 alkaen Kaskela valittiin SVUL:n mandaatilla Suomen olympiakomitean johtokuntaan. Vuonna 1956 hänestä tuli SVUL:n hallituksen, entisen johtokunnan, varapuheenjohtaja ja vuonna 1963 puheenjohtaja vuoteen 1969 asti. Suomen Hiihtoliiton puheenjohtajana Kaskela toimi vuosina 1954–1960. SVUL:n puheenjohtajuudesta Kaskela luopui vuonna 1971.
Akseli Kaskelalla oli 1950-luvun loppupuoliskolla useita erimielisyyksiä Suomen tasavallan presidentti Urho Kekkosen kanssa. Vastakkainasettelu kärjistyi, kun presidentti Kekkonen toimi välittäjänä vuoden 1960 Rooman kesäolympialaisten olympiaedustuksessa, koska SVUL:n ja TUL:n sopimukseton tila oli estämässä TUL:n urheilijoiden mukaantulon olympiajoukkueeseen. Neuvottelut ajautuivat umpikujaan; tässä yhteydessä Kaskela ja presidentti Kekkonen leimautuivat toistensa urheilupoliittisiksi vastustajiksi.
Akseli Kaskelalla oli viisi veljeä ja kuusi siskoa. Hänen ensimmäinen aviopuolisonsa oli Elna Routamo (1926–1937; liitto päättyi puolison kuolemaan). Toinen puoliso oli Irma Aurora Augusta Aarra (naimisiin 1938). Kaskelalla oli neljä lasta: Kaarina (1927), Ritva (1929), Mauri (1933) ja Leena (1939).
