Родился 23.03.1913 г. в с. Токаревка, ныне Двуреченского района Харьковской области, в семье крестьянина. Украинец. Окончил семь классов, работал в колхозе и потребсоюзе.
Участник Великой Отечественной войны с июня 1941 года. Командир орудия 1083-го стрелкового полка (312-я стрелковая дивизия, 69-я армия, первый Белорусский фронт).
Cержант Ковалев 18.07.1944 года на подступах к реке Западный Буг уничтожил танк противника, в числе первых форсировал реку. 20 июля в бою по захвату и удержанию плацдарма в районе населенного пункта Дорохуск (22 км восточнее г. Хелм, Польша) уничтожил 3 САУ и группу солдат врага. Способствовал переправе через реку стрелковых подразделений полка. На его боевом счету было 8 подбитых танков врага. Звание Героя Советского Союза присвоено 25.09.1944 года. С боями дошел до Берлина, был четыре раза ранен.
Окончил в 1945 году курсы младших лейтенантов. С 1946 года лейтенант Ковалев - в запасе.
С 1964 года А.Ф. Ковалев связал свою жизнь с Лисичанском: работал бухгалтером-ревизором на комбинате «Луганскуголь», экономистом-контролером в тресте «Лисичанскхимнефтестрой».
Награжден орденом Ленина, Отечественной войны 1 и 2 степени, двумя орденами Красной Звезды, медалями.
Умер 30.11.87 года. Похоронен в Лисичанске. На доме, в котором жил почетный гражданин г. Лисичанска А.Ф. Ковалев, установлена мемориальная доска.