Родился в Харькове в семье портного. Учился в начальной школе при Харьковской семинарии. С 1893 г. рабочий Брянского металлургического завода в Екатеринославе. С 1897 г. член Екатеринославского «Союза борьбы за освобождение рабочего класса». С 1898 г. член РСДРП, большевик. Во время революции 1905–1907 гг. один из организаторов и руководителей Екатеринославского Совета рабочих депутатов и городского стачечного комитета.

В 1912 г. избран депутатом IV Государственной думы от рабочей курии Екатеринославской губернии. Председатель большевистской фракции. В январе 1913 г. кооптирован в члены Центрального комитета (ЦК) РСДРП. В ноябре 1914 г. арестован вместе с другими депутатами-большевиками. В 1915 г. приговорен к лишению всех прав состояния, отправлен на вечное поселение в Туруханский край, в 1916 г. переведен в Якутию.

После Февральской революции 1917 г. освобожден. Председатель Якутского комитета общественной безопасности, комиссар Якутской области. Председатель Якутского комитета РСДРП. В июле 1917 г. вернулся в Петроград. Направлен для партийной работы на Донбасс. Член Екатеринославского комитета РСДРП(б). Гласный Екатеринославской городской думы, председатель большевистской фракции. Депутат Учредительного собрания.

В ноябре 1917 – марте 1919 г. народный комиссар внутренних дел Российской Советской Федеративной Социалистической Республики (РСФСР). Один из создателей Рабоче-крестьянской милиции. Член советской делегации на мирных переговорах с Германией, участвовал в  подписании  Брестского  мирного  договора 3 марта 1918 г. Участвовал в подавлении выступления левых эсеров в Москве (июль 1918). Принимал участие в разработке организационной структуры органов советской власти и первой Конституции РСФСР (1918). Один из подписавших Декрет «О красном терроре» (5 сентября 1918).

Активный участник установления советской власти на Украине. В декабре 1919 – феврале 1920 г. председатель Всеукраинского революционного комитета Украинской Социалистической Советской Республики (УССР). В 1919 и 1920–1938 гг. председатель Всеукраинского Центрального исполнительного комитета (ВУЦИК) УССР. Со стороны УССР подписал Договор об образовании СССР 30 декабря 1922 г. В 1922–1938 гг. председатель ЦИК СССР от УССР.

В 1921–1939 гг. член ЦК Российской (с 1925 – Всесоюзной) коммунистической партии (большевиков). В 1926–1939 гг. кандидат в члены Политбюро ЦК ВКП(б). В 1938–1939 гг. заместитель председателя Президиума Верховного Совета СССР. Выведен из состава высших органов власти за связи с «врагами народа». С 1940 г. заместитель директора Музея революции СССР. Умер 9 января 1958 г. Похоронен на Красной площади у Кремлевской стены.