Ia memiliki nama lengkap Umar bin Khattab bin Nafiel bin abdul Uzza, terlahir di Mekkah, dari Bani Adi, salah satu rumpun suku Quraisy. Orangtuanya bernama Khaththab bin Nufail Al Mahzumi Al Quraisyi dan Hantamah binti Hasyim.
Ketika Rasul pertama kali berdakwah, Umar adalah salah seorang yang sangat keras dalam melawan pesan Islam dan sering melakukan penyiksaan terhadap pemeluknya. Dikatakan bahwa pada suatu saat, Umar berketetapan untuk membunuh Muhammad saw. Saat mencarinya, ia berpapasan dengan seorang muslim (Nu’aim bin Abdullah) yang kemudian memberi tahu bahwa saudara perempuannya juga telah memeluk Islam. Umar terkejut atas pemberitahuan itu dan pulang ke rumahnya. Ia murka.
Di rumah, Umar menjumpai bahwa saudaranya sedang membaca ayat-ayat Al Qur’an (surat Thoha), ia menjadi marah akan hal tersebut dan memukul saudaranya. Ketika melihat saudaranya berdarah oleh pukulannya ia menjadi iba, dan kemudian meminta agar bacaan tersebut dapat ia lihat. Ia kemudian menjadi sangat terguncang oleh isi Al-Quran tersebut dan kemudian langsung memeluk Islam pada hari itu juga.
Umar adalah salah seorang yang ikut pada peristiwa hijrah ke Yathrib (Madinah) pada tahun 622 Masehi. Ia ikut terlibat pada perang Badar, Uhud, Khaybar serta penyerangan ke Syria. Pada tahun 625, putrinya (Hafsah) menikah dengan Nabi Muhammad.
Pada masa Abu Bakar menjabat sebagai khalifah, Umar merupakan salah satu penasihat kepalanya. Kemudian setelah Abu Bakar meninggal pada tahun 634, Umar ditunjuk menggantikannya.
Selama pemerintahan Umar, kekuasaan Islam tumbuh dengan sangat pesat. Islam mengambil alih Mesopotamia dan sebagian Persia dari tangan dinasti Sassanid dari Persia (yang mengakhiri masa kekaisaran sassanid) serta mengambil alih Mesir, Palestina, Syria, Afrika Utara dan Armenia dari kekaisaran Romawi (Byzantium).
Sejarah mencatat banyak pertempuran besar yang menjadi awal penaklukan ini. Pada pertempuran Yarmuk, yang terjadi di dekat Damaskus pada tahun 636, 20 ribu pasukan Islam mengalahkan pasukan Romawi yang mencapai 70 ribu dan mengakhiri kekuasaan Romawi di Asia Kecil bagian selatan. Pasukan Islam lainnya dalam jumlah kecil mendapatkan kemenangan atas pasukan Persia dalam jumlah yang lebih besar pada pertempuran Qadisiyyah (th 636), di dekat sungai Eufrat. Pada pertempuran itu, jenderal pasukan Islam yakni Sa`ad bin Abi Waqqas mengalahkan pasukan Sassanid dan berhasil membunuh jenderal Persia yang terkenal, Rustam Farrukhzad. Pada tahun 637, setelah pengepungan yang lama terhadap Yerusalem, pasukan Islam akhirnya mengambil alih kota tersebut.
Umar melakukan banyak reformasi secara administratif dan mengontrol dari dekat kebijakan publik, termasuk membangun sistem administratif untuk daerah yang baru ditaklukkan. Ia juga memerintahkan diselenggarakannya sensus di seluruh wilayah kekuasaan Islam. Tahun 638, ia memerintahkan untuk memperluas dan merenovasi Masjidil Haram di Mekkah dan Masjid Nabawi di Medinah. Ia juga memulai proses kodifikasi hukum Islam.
Pada sekitar tahun ke 17 Hijriah, tahun ke-empat kekhalifahannya, Umar mengeluarkan keputusan bahwa penanggalan Islam hendaknya mulai dihitung saat peristiwa hijrah.
Umar bin Khattab dibunuh oleh Abu Lukluk, seorang budak pada saat ia akan memimpin shalat. Pembunuhan ini konon dilatarbelakangi dendam pribadi Abu Lukluk terhadap Umar. Peristiwa ini terjadi pada hari Rabu, 25 Dzulhijjah 23 H/644 M. Setelah kematiannya jabatan khalifah dipegang oleh Usman bin Affan.