Родился в семье донского казака. Образование получил во 2-м военном Константиновском и Михайловском артиллерийском училищах (1882), окончил Николаевскую академию Генерального штаба (1889). Служил в Варшавском военном округе, затем на Дону помощником начальника штаба Донского войска. Участник Первой мировой войны, с марта 1916 г. командующий 8-й армией. Генерал от кавалерии (1916). В мае 1917 г. отстранен Временным правительством от командования армией за невыполнение распоряжений о демократизации в войсках. Уехал на Дон и в июне 1917 г. Большим войсковым кругом Донского казачьего войска избран Донским войсковым атаманом.

1  сентября  военный   министр   Временного   правительства А. И. Верховский приказал арестовать Каледина по подозрению в участии в Корниловском выступлении. Однако Войсковое правительство   отказалось   выполнить  приказ,  и  4  сентября А. Ф. Керенский его отменил при условии «ручательства» Войскового правительства за Каледина.

Октябрьский переворот 1917 г. воспринял как преступление, заявив, что Донское войсковое правительство окажет полную поддержку Временному правительству, а до его восстановления он берет на себя всю полноту власти на Дону.

Предпринял попытку объединения всех антисоветских сил, установив связь со Ставкой, украинской Центральной радой, кубанским, терским и оренбургским казачьими войсковыми правительствами. Был избран во Всероссийское учредительное собрание в Донском избирательном округе по списку № 4 (казаки).

18  декабря  1917  г.  вместе  с  генералами  М. В. Алексеевым и Л. Г. Корниловым Каледин создал претендовавший на статус всероссийского правительства Донской гражданский совет, в котором занимался управлением Дона и Донским казачьим войском. В конце декабря 1917 г. войска красных начали наступательные действия против калединских войск. В январе 1918 г. Съезд фронтового казачества объявил атамана Каледина низложенным и признал власть Совета народных комиссаров во главе с В. И. Лениным. Донское казачество оказалось расколото, верные Каледину силы не могли остановить продвижение советских войск. Генерал Корнилов известил Каледина о решении отвести Добровольческую армию на Кубань. 29 января 1918 г. Каледин собрал заседание правительства, на котором сложил с себя полномочия войскового атамана. В тот же день покончил жизнь самоубийством, в предсмертном письме генералу Алексееву объяснив свой поступок «отказом казачества следовать за своим атаманом».