Из рабочих. Родился в Екатеринославской губернии. Учился в земской школе. С 1896 г. рабочий Юрьевского металлургического завода, с 1903 г. – паровозостроительного завода Гартмана в  г. Луганске. В 1903 г. вступил в РСДРП, большевик.

В период революции 1905–1907 гг. председатель Луганского Совета рабочих депутатов. Руководил стачками, создавал боевые дружины. В 1908–1917 гг. вел подпольную партийную деятельность в Баку, Петрограде, Царицыне. Участвовал в транспортировке оружия и экспроприациях. Неоднократно подвергался арестам, отбывал ссылку.

После Февральской революции 1917 г. возглавил Луганский комитет большевиков, был председателем Городской думы и Совета. После Октябрьского переворота прибыл в Петроград и исполнял обязанности комиссара Петрограда по гражданским делам, председателя комитета по охране Петрограда.

В начале 1918 г. сформировал 1-й Луганский социалистический партизанский отряд, оборонявший Харьков от германо-австрийских войск. Из отдельных отрядов была создана 5-я Украинская армия под командованием Ворошилова. В июле–августе 1918 г. командовал Царицынской группой войск.  В августе–сентябре член Военного совета Северо-Кавказского военного округа, в сентябре–октябре помощник командующего и член Революционного военного совета (РВС)  Южного фронта, в

октябре–декабре командующий 10-й армией РККА. В этот период сблизился с И. В. Сталиным.

С ноября 1918 по январь 1919 г. член Временного рабоче-крестьянского правительства Украины, с января по июнь 1919 г. нарком внутренних дел Украинской ССР. Командовал войсками Харьковского военного округа, 14-й армией и внутренним Украинским фронтом. Воевал против атаманов Н. А. Григорьева и Н. И. Махно. С октября 1919 г. начальник 61-й стрелковой дивизии. С ноября 1919 по март 1921 г. член РВС 1-й Конной армии под командованием С. М. Будённого. В марте 1921 г. во главе группы делегатов Х съезда РКП(б) участвовал в подавлении Кронштадтского восстания.

В 1921–1924 гг. член Юго-Восточного бюро ЦК РКП(б), командующий войсками Северо-Кавказского военного округа. В 1924–1925 гг. командующий войсками Московского военного округа, член РВС СССР. В 1925 г. заместитель М. В. Фрунзе, а после его смерти народный комиссар по военным и морским делам. Председатель РВС СССР (1925–1934). Народный комиссар обороны СССР (1934–1940). Маршал Советского Союза (1935). До 1960 г. на высших государственных должностях. Скончался 2 декабря 1969 г. в Москве. Похоронен на Красной площади у Кремлевской стены.