Родился в семье польского дворянина, преподавателя гимназии. Учился в Виленской гимназии. В 1895 г. вступил в литовскую социал-демократическую организацию, бросил учебу. Участник Первого съезда Социал-демократии Королевства Польского и Литвы (СДКПиЛ), сторонник вхождения партии в РСДРП. Активный участник Революции 1905–1907 гг. Делегат IV съезда РСДРП (1906), на котором СДКПиЛ вошла в ее состав. С 1907 г. член ЦК РСДРП. Большевик. В 1906–1917 гг. неоднократно арестовывался, в общей сложности провел в тюрьмах, ссылках и на каторге 11 лет.

В дни Февральской революции 1917 г. освобожден из Бутырской тюрьмы в Москве. В августе 1917 г. на VI съезде РСДРП(б) избран членом ЦК партии и Секретариата ЦК. Во время Октябрьского переворота 1917 г. член Военно-революционного центра и Петроградского Военно-революционного комитета, осуществлял в Петрограде контроль над почтой и телеграфом. Участвовал   в организации   разгрома  войск   А.  Ф.  Керенского и П. Н. Краснова под Петроградом.

В 1917–1922 гг. Председатель Всероссийской чрезвычайной комиссии по борьбе с контрреволюцией и саботажем (ВЧК), которая постепенно получила широкие полномочия вплоть до применения смертной казни. После покушения на В. И. Ленина (30 августа 1918) один из организаторов красного террора, проводил политику репрессий против «классовых противников».

С января 1919 г. член комиссии ЦК и Совета обороны (вместе с И. В. Сталиным), выяснял причины поражений РККА в районе Перми (1918). В 1919–1923 гг. народный комиссар внутренних дел РСФСР, председатель Военного совета войск военизированной охраны (ВОХР). В 1919–1920 гг. возглавлял Особый отдел ВЧК (военную контрразведку). Председатель Комитета обороны Москвы (сентябрь 1919, октябрь 1920). В 1920 г. руководил службой охраны границ и войсками внутренней службы (ВНУС). С февраля 1920 г. председатель Главного комитета по всеобщей трудовой повинности (Главкомтруд). Во время Советско-польской войны начальник тыла Юго-Западного фронта (май–июль 1920). Член Временного революционного комитета Польши и Польского бюро ЦК РКП(б) (июль–сентябрь 1920). В августе–сентябре 1920 г. член Революционного военного совета Западного фронта.

С января 1921 г. председатель Комиссии по улучшению жизни детей при ВЦИК. В 1921–1923 гг. народный комиссар путей сообщения РСФСР (в 1923–1924 – СССР). В 1922–1926 гг. Председатель Государственного политического управления (ГПУ) при НКВД РСФСР (с 1923 г. – Объединенного государственного политического управления (ОГПУ) при СНК СССР). С февраля 1924 г. председатель Высшего совета народного хозяйства (ВСНХ). 20 июля 1926 г. умер от сердечного приступа после выступления на пленуме ЦК. Похоронен на Красной площади в Москве у Кремлевской стены.