Родился в семье офицера, который выслужился из простых солдат. С 1873 г. на воинской службе. Окончил Московское пехотное юнкерское училище (1876), Николаевскую академию Генерального штаба (1890). Участник Русско-турецкой (1877‒1878) и Русско-японской войн. В годы Первой мировой войны начальник штаба армий Юго-Западного фронта (1914–1915), главнокомандующий армиями Северо-Западного фронта (март–август 1915) и Западного фронта (август 1915). Руководил «Великим отступлением» Русской императорской армии (1915), сумел предотвратить окружение и уничтожение отступавших войск на территории Польши.

С августа 1915 г. начальник штаба Ставки. Фактически руководил всеми военными операциями, за исключением периода с ноября 1916 по февраль 1917 г. Генерального штаба генерал от инфантерии (1914), генерал-адъютант (1916).

Накануне Февральской революции поддерживал отношения с представителями либеральной оппозиции. После свержения монархии присягнул Временному правительству. В апреле–мае 1917 г. Верховный главнокомандующий Русской армией. Противник Советов и демократизации армии. Один из создателей Союза офицеров армии  флота. 30 августа 1917 г. стал начальником штаба Верховного главнокомандующего А. Ф. Керенского.

После провала корниловского выступления арестовал генерала Л. Г. Корнилова и его сторонников, спасая их от революционных солдат. Отправил их в Быхов под охрану надежных войск. Через несколько дней подал в отставку.

Накануне и после Октябрьского переворота работал над созданием кадровой основы для новой армии (т. н. Алексеевская организация), способной бороться с большевиками. Бежал в Новочеркасск, где в начале ноября 1917 г. опубликовал воззвание к офицерам, призывая их «спасти Родину». Позднее к нему присоединился прибывший на Дон генерал Корнилов.

С декабря 1917 г. член Донского гражданского совета, созданного в ноябре 1917 г. в Новочеркасске для руководства антибольшевистскими силами. Алексеевская организация стала ядром Добровольческой армии (провозглашена в декабре 1917), а сам Алексеев – ее Верховным руководителем, занимался гражданским и финансовым управлением, внешними сношениями и организацией антисоветского подполья. Принял участие в Первом и Втором кубанских походах (1918). Скончался 8 октября 1918 г. от воспаления легких, похоронен в Екатеринодаре. При отступлении белых войск в 1920 г. прах Алексеева был вывезен в Сербию и перезахоронен в Белграде.