Из семьи иногороднего крестьянина и казачки. Родился в Сальском округе Области войска Донского. Участник Русско-японской и Первой мировой войн, старший унтер-офицер. В годы Первой мировой войны стал полным Георгиевским кавалером. В августе 1917 г. участник разоружения корниловских частей, продвигавшихся через Оршу из Могилева во время выступления Л. Г. Корнилова.

После Октябрьского переворота 1917 г. вернулся на Дон. Член исполнительного комитета Сальского окружного совета, заведующий окружным земельным отделом. В феврале 1918 г. сформировал и возглавил Платовский конный отряд, начал боевые действия против белых на Дону. Помощник командующего 1-го Социалистического крестьянского кавалерийского полка (июнь–сентябрь). Помощник командующего 1-й Донской советской кавалерийской бригады (сентябрь–декабрь). С января 1919 г. командир 1-й бригады 1-й Сводной кавалерийской дивизии. Успешно  действовал  против П. Н. Краснова  под Царицыном в 1918 – начале 1919 г., был награжден орденом Красного Знамени (1919).

В марте–августе 1919 г. начальник 4-й кавалерийской дивизии. В июне–ноябре 1919 г. командующий Конным корпусом.

Участвовал в операциях против войск П. Н. Врангеля в верховьях Дона и войск А. И. Деникина под Воронежем и Касторной, нанес поражение силам противника. В 1919 г. вступил в Российскую коммунистическую партию (большевиков) – РКП(б).

В ноябре 1919 – октябре 1923 г. командующий Первой Конной армией, сыгравшей важную роль в разгроме войск ВСЮР. Во время Советско-польской войны участвовал в Киевской операции, осуществил Житомирский прорыв (1920). Принимал участие в разгроме формирований Н. И. Махно. Участвовал в подавлении антибольшевистских выступлений на Дону и Кубани.

В 1921–1923 гг. член Революционного военного совета Северо-Кавказского военного округа, затем заместитель командующего. С 1923 г. помощник главнокомандующего РККА по кавалерии. Член Революционного военного совета (РВС) СССР. Инспектор кавалерии РККА (1924–1937). Маршал Советского Союза (1935). В 1937–1939 гг. командующий войсками Московского военного округа. С августа 1940 г. первый заместитель наркома обороны СССР. Входил в состав Ставки Верховного Главнокомандования. Трижды Герой Советского Союза. Похоронен в Москве на Красной площади у Кремлевской стены.