Родился в селе Марковка Ворошиловградской области в семье крестьянина. В армию был призван в 1913 году. В годы Первой мировой войны сражался на Юго-Западном фронте в Галиции. Затем служил на Румынском фронте в команде разведки пехотного полка. Два раза ранен и контужен.
В Красной Армии с 1918 года. В годы Гражданской войны участвовал в боях на Южном, Кавказском и Юго-Западном фронтах. В июне 1938 года назначен командиром 6-го кавалерийского корпуса, с которым принимал участие в походе в Западную Белоруссию в 1939 году. В июне 1940 года генерал-лейтенант А.И. Еременко был назначен командиром 3-го механизированного корпуса Белорусского особого военного округа. В 1940-1941 годах командовал Северо-Кавказским военным округом, 1-й Отдельной Краснознаменной армией Дальневосточного фронта, 16-й армией Забайкальского военного округа.
В начале Великой Отечественной войны генерал-лейтенант А.И. Еременко - командующий войсками Западного фронта. С августа он командует войсками Брянского фронта, в задачу которого входило прикрытие подступов к Москве. Руководил оборонительными и наступательными действиями войск фронта в Смоленском сражении и в Орловско-Брянской оборонительной операции. С 25 декабря 1941 года командовал 4-й ударной армией, которая под его руководством в составе войск Северо-Западного, а затем Калининского фронтов сыграла основную роль в ходе успешной Торопецко-Холмской наступательной операции. Части армии в первый день наступления 9 января 1942 года прорвали немецкую оборону, освободили города Андреаполь, Торопец, вышли на ближние подступы к городу Велиж и глубоко охватили с севера ржевско-вяземскую группировку противника, пройдя на запад на 250-300 километров. В этих боях генерал-полковник Еременко был тяжело ранен, но остался в строю и продолжал руководить действиями армии. С февраля 1942 года находился на лечении в госпитале в Москве.
Еще не полностью излечившись, вернулся в строй: командовал Сталинградским и одновременно Юго- Восточным фронтом. В этой должности внес большой вклад в организацию героической обороны Сталинграда.
Войска фронта под его командованием вели трехмесячные тяжелейшие изматывающие сражения на дальних и ближних подступах к Сталинграду, а с 19 ноября 1942 года принимали активное участие в контрнаступлении советских войск под Сталинградом, завершившемся окружением крупной группировки немецко-фашистских войск.
С 30 декабря 1942 года А.И. Еременко командовал Южным фронтом. Под его руководством войска фронта провели Ростовскую наступательную операцию с целью разгрома группировки противника на Северном Кавказе. В рамках Прибалтийской операции 2-й Прибалтийский фронт во взаимодействии с 1-м и 3-м Прибалтийскими фронтами и Краснознаменным Балтийским флотом участвовал в Рижской наступательной операции, в результате которой советские войска освободили Латвию и блокировали с суши основные силы группы армий «Север» на Курляндском полуострове.
За умелое руководство войсками и проявленные в боях с немецко-фашистскими захватчиками мужество и героизм Указом Президиума Верховного Совета СССР от 29 июля 1944 года генералу армии А.И. Еременко присвоено звание Героя Советского Союза с вручением ордена Ленина и медали «Золотая Звезда».
Под его руководством была спланирована и проведена Моравско-Остравская наступательная операция 1945 года, в ходе которой войска овладели крупным промышленным районом и создали благоприятные условия для дальнейшего продвижения в центральную часть Чехословакии. В дальнейшем соединения фронта участвовали в Пражской наступательной операции, завершившейся окружением и пленением основных сил группы армий «Центр» и части сил группы армий «Австрия».
После войны А.И. Еременко командовал войсками Прикарпатского, Западно-Сибирского и Северо-Кавказского военных округов.
Скончался 19 ноября 1970 года. Урна с прахом А.И.Еременко захоронена в Кремлевской стене на Красной площади в Москве.
