Umar yakin sudah bahwa Rasulullah sudah wafat. Ia mulai berpikir mengenai masa depan umat Islam sepeninggal Nabi. Situasi itu memang memerlukan pemikiran yang mendalam. Andai kata orangorang Arab terus berselisih di antara sesama mereka, niscaya Islam akan menghadapi bahaya besar. Mereka yang tinggal jauh dari Mekah dan Medinah, di pelbagai kawasan di Semenanjung itu tidak dapat menyembunyikan kejenuhan mereka terhadap kekuasaan Kuraisy dan kekuasaan Medinah. Kejenuhan terhadap kekuasaan inilah yang membuat al-Aswad al-'Ansi di Yaman memberontak. Dia juga yang membela Banu Hanifah di Yamamah supaya mendukung Musailimah bin Habib ketika ia mendakwakan dirinya nabi dan membela Banu Asad supaya mendukung Tulaihah bin Khuwailid yang juga mendakwakan dirinya nabi. Apa pula gerangan nasib yang akan menimpa Islam sepeninggal Rasulullah kalau kaum Muslimin tidak benar-benar teguh hati dalam menghadapi keadaan yang begitu genting dengan tetap bersatu dan hati tabah?
Umar di Saqifah Banu Sa'idah
Hal ini yang pertama kali dipikirkan Umar begitu ia yakin bahwa Rasulullah sudah wafat. Dan ini akan segera terlihat dengan jelas bahwa jika keadaan dibiarkan dan tidak ada orang yang dapat segera mengambil langkah dan mengatur strategi Muslimin yang tepat, kaum Muhajirin dan Ansar hampir saja terjerumus ke dalam perselisihan, dan di segenap penjuru negeri akan berkobar pemberontakan. Oleh karena itu cepat-cepat ia menyeruak ke tengah-tengah jemaah Muslimin di Masjid membicarakan kematian Rasulullah. Ia terus menuju tempat Abu Ubaidah bin al-Jarrah dan katanya: "Bentangkan tangan Anda akan saya baiat Anda. Andalah orang kepercayaan umat1 ini atas dasar ucapan Rasulullah." Mendengar kata-kata Umar itu Abu Ubaidah terpengarah.
Ia sadar, mengenai umat Islam sekarang ini memang perlu ada keputusan cepat. Tetapi pendapat Umar tidak disetujuinya. Ditatapnya laki-laki itu seraya katanya: "Sejak Anda masuk Islam tak pernah Anda tergelincir. Anda akan memberikan sumpah setia kepada saya padahal masih ada Abu Bakr, 'salah seorang dari dua orang'." Sementara kedua orang itu sedang berpikir mengenai persoalan genting ini, tiba-tiba datang berita bahwa Ansar sudah berkumpul di Saqifah Banu Sa'idah, dengan tujuan agar pimpinan Muslimin di tangan mereka.
Saat itu juga Umar cepat-cepat mengutus orang kepada Abu Bakr di rumah Aisyah agar segera datang. Abu Bakr menjawab melalui utusan itu, bahwa dia sedang sibuk. Tetapi Umar menganggap keadaan Muslimin lebih penting untuk sekadar meninggalkan kesibukan itu sebentar kendati sedang mempersiapkan jenazah Rasulullah. Sekali lagi Umar mengutus orang kepada Abu Bakr dengan pesan: "Telah terjadi sesuatu yang sangat memerlukan kehadirannya."
Abu Bakr pun kemudian datang dan menanyakan: Apa yang terjadi ia harus meninggalkan persiapan jenazah Rasulullah? "Anda tidak tahu," kata Umar, "bahwa pihak Ansar sudah berkumpul di Serambi Banu Sa'idah hendak menyerahkan pimpinan ke tangan Sa'd bin Ubadah. Ucapan yang paling baik ketika ada yang mengatakan: Dari kami seorang amir dan dari Kuraisy seorang amir?" Abu Bakr melihat keadaan memang sangat berbahaya. Cepat-cepat ia berangkat disertai Umar dan Abu Ubaidah menuju Saqifah.
Begitu mereka sampai Abu Bakr yang memimpin perdebatan Ansar dengan sikapnya yang bijaksana dan lemah lembut. Umar berdiri di sampingnya mengawasi apa yang akan terjadi, setelah melihat Hubab bin Munzir membakar semangat Ansar supaya menentang jika tak ada seorang amir dari mereka dan seorang amir dari Muhajirin.
"Bah!" kata Umar. "Jangan ada dua kemudi dalam satu perahu.
Orang-orang tidak akan mau mengangkat kalian sedang nabinya bukan dari kalangan kalian. Tetapi mereka tidak akan keberatan mengangkat seorang pemimpin selama kenabian dari kalangan mereka. Alasan dan kewenangan kami sudah jelas buat mereka yang masih menolak semua itu. Siapakah yang mau membantah kewenangan dan kepemimpinan Muhammad sedang kami adalah kawan dan kerabat dekatnya kecuali buat orang yang memang cenderung hendak berbuat batil, berbuat dosa dan gemar mencari-cari malapetaka!" Hubab menjawab dengan meminta kepada Ansar supaya mengeluarkan kaum Muhajirin dari Medinah atau mereka harus berada di bawah pimpinan Ansar. Kemudian kata-katanya ditujukan kepada ketiga orang Muhajirin itu: "Ya, demi Allah, kalau perlu biar kita yang memulai peperangan." Mendengar ancaman itu Umar membalas: "Mudah-mudahan Allah memerangi kamu!" Hubab pun menjawab lagi: "Bahkan Andalah yang harus diperangi!"
"Bah!" kata Umar. "Jangan ada dua kemudi dalam satu perahu.
Orang-orang tidak akan mau mengangkat kalian sedang nabinya bukan dari kalangan kalian. Tetapi mereka tidak akan keberatan mengangkat seorang pemimpin selama kenabian dari kalangan mereka. Alasan dan kewenangan kami sudah jelas buat mereka yang masih menolak semua itu. Siapakah yang mau membantah kewenangan dan kepemimpinan Muhammad sedang kami adalah kawan dan kerabat dekatnya kecuali buat orang yang memang cenderung hendak berbuat batil, berbuat dosa dan gemar mencari-cari malapetaka!" Hubab menjawab dengan meminta kepada Ansar supaya mengeluarkan kaum Muhajirin dari Medinah atau mereka harus berada di bawah pimpinan Ansar. Kemudian kata-katanya ditujukan kepada ketiga orang Muhajirin itu: "Ya, demi Allah, kalau perlu biar kita yang memulai peperangan." Mendengar ancaman itu Umar membalas: "Mudah-mudahan Allah memerangi kamu!" Hubab pun menjawab lagi: "Bahkan Andalah yang harus diperangi!"
Kedua ungkapan itu telah membangkitkan kemarahan di hati mereka, Melihat situasi demikian Abu Ubaidah bin Jarrah segera turun tangan dan berkata yang ditujukan kepada penduduk Medinah: "Saudarasaudara Ansar! Kalian adalah orang yang pertama memberikan bantuan dan dukungan, janganlah sekarang menjadi orang yang pertama pula mengadakan perubahan dan perombakan."
Kata-kata ini dapat meredakan kemarahan mereka. Mereka mulai berdiskusi dengan saling mengemukakan argumen. Basyir bin Sa'd, salah seorang pemimpin Khazraj bergabung kepada pihak Muhajirin. Dengan demikian Ansar tidak lagi seia sekata. Abu Bakr memperkirakan bahwa keadaan sudah reda dan sudah saatnya mengambil keputusan. Ia mengajak orang-orang supaya bergabung dan mengingatkan jangan terpecah belah. Kemudian ia mengangkat tangan Umar dan Abu Ubaidah seraya berseru: "Ini Umar dan ini Abu Ubaidah, berikanlah ikrar kalian kepada yang mana saja yang kalian sukai." Tetapi Umar tidak akan membiarkan perselisihan menjadi perkelahian yang berkepanjangan.
Dengan suaranya yang lantang menggelegar ia berkata:
"Abu Bakr, bentangkan tangan Anda" Abu Bakr membentangkan tangan dan oleh Umar ia diikrarkan seraya. katanya: "Abu Bakr, bukankah Nabi menyuruh Anda memimpin Muslimin bersembahyang? Andalah penggantinya (khalifahnya). Kami akan membaiat1 orang yang paling disukai oleh Rasulullah di antara kita semua ini." Menyusul Abu Ubaidah memberikan ikrar dengan mengatakan: "Andalah di kalangan Muslimin yang paling mulia dan yang kedua dari dua orang dalam gua, menggantikan Rasulullah dalam salat, sesuatu yang paling mulia dan utama dalam agama kita. Siapa lagi yang lebih pantas dari Anda untuk ditampilkan dan memegang pimpinan kita!" Setelah itu berturut-turut jemaah Saqifah membaiat Abu Bakr secara aklamasi, tak ada ketinggalan kecuali Sa'd bin Ubadah. Selesai membaiat mereka kembali ke Masjid menanti-nantikan berita dari rumah Aisyah mengenai persiapan jenazah Rasulullah. Keesokan harinya sementara Abu Bakr sedang di Masjid, Umar tampil di depan kaum Muslimin meminta maaf mengenai pernyataannya bahwa Nabi tidak wafat. "Kepada Saudara-saudara kemarin saya mengucapkan kata-kata yang tidak terdapat dalam Qur'an, ataupun suatu pesan yang tak pernah disampaikan Rasulullah kepada saya. Tetapi ketika itu saya berpendapat bahwa Rasulullah akan mengemudikan segala urusan kita dan akan tetap demikian sampai akhir hidup kita. Yang tetap ditinggalkan untuk kita oleh Allah ialah Kitab-Nya, yang dengan itu telah membimbing Rasul-Nya. Kalau kita berpegang teguh pada Kitabullah, kita akan mendapat bimbingan Allah, yang juga dengan itu Allah telah membimbing Rasul-Nya. Allah telah memutuskan segala persoalan kita demi kebaikan kita, sahabat Rasulullah Sallallahu 'alaihi wa sallam dan yang kedua dari dua orang ketika di dalam gua, maka marilah kita baiat." Semua orang kemudian sama-sama memberikan baiat (ikrar) yang dikenal sebagai Baiat Umum setelah Baiat Saqifah.
Inilah sikap Umar yang pertama sepeninggal Rasulullah. Seperti sudah kita saksikan, ini merupakan sikapnya yang sangat bijaksana, berpandangan jauh ke depan dan strategi politik yang baik sekali. Ini jugalah sikapnya dalam mencalonkan pimpinan umat. Kemampuannya membuktikan ia dapat mengemudikan negara yang baru tumbuh ini, dengan tidak menghiraukan kepentingan pribadinya, dan segala pemikirannya hanya ditujukan untuk kepentingan umat dan kedisiplinan yang tinggi. Karena tak dapat menahan duka dengan wafatnya Rasulullah yang dirasakannya sangat tiba-tiba, Umar tidak percaya bahwa yang demikian dapat terjadi. Sesudah kemudian yakin bahwa Rasulullah sudah wafat, pikiran sehatnya kini dapat menguasai perasaannya, kesedihannya tak sampai mempengaruhinya untuk berbicara dengan Abu Ubaidah dalam menghadapi bahaya yang sedang mengancam umat Islam: bagaimana mengendalikan mereka serta mengarahkan strategi politik umat. la tidak ingin berkuasa untuk dirinya, walaupun ia mampu untuk itu. Bahkan apa yang dipikirkannya itu bersih dari segala nafsu dan kepentingan pribadi. Oleh karena itu cepat-cepat ia membaiat Abu Ubaidah. Tetapi tatkala orang kepercayaan umat ini mengingatkannya bahwa dalam soal ini Abu Bakrlah yang lebih tepat dan lebih berhak dari semua orang, tanpa ragu pendapatnya langsung disetujuinya. Tak lama ketika diketahuinya ada pertemuan di Saqifah, ia pun memanggil Abu Bakr untuk menghadapi kaum Ansar itu. Juga ia tidak mundur untuk menghadapi mereka ketika dikatakan kepadanya bahwa Ansar sudah mengambil keputusan dan tidak akan mengubah keputusannya.
Kepergiannya bersama kedua sahabatnya ke Saqifah itu telah menentukan pengangkatan Abu Bakr dan bersatunya kembali umat Islam. Mengenai apa yang dikatakan orang tentang ketidakhadiran Ali bin Abi Talib dan Banu Hasyim dalam membaiat Abu Bakr, peranan Umar dalam hal ini tidak pula kurang bijaksananya dari peranannya dalam hal Saqifah. Saya masih meragukan sumber-sumber mengenai peristiwa ketidakhadiran ini. Saya sudah memberikan pendapat mengenai hal ini ketika menguraikan soal pembaiatan Abu Bakr. Tetapi saya tak dapat memastikan bahwa Ali dan Banu Hasyim menyambut pembaiatan itu dengan senang hati seperti Muslimin yang lain. Yang sudah pasti, hubungan Fatimah putri Rasulullah dengan Abu Bakr sampai wafatnya tetap tidak baik. Adakah yang demikian ini karena Abu Bakr tidak mau memenuhi tuntutan Fatimah atas warisan dari ayahnya, ataukah karena ia melihat suaminya lebih berhak sebagai khalifah daripada Abu Bakr?
Dalam hal ini masih terdapat beberapa perbedaan pendapat. Yang tidak lagi diperselisihkan ialah bahwa Umar sependapat dengan Abu Bakr bahwa apa yang ditinggalkan Nabi merupakan sedekah dan tak boleh diwariskan. Sudah tentu pendapatnya ini akan membuat Fatimah marah.
Adakah kemarahannya itu sampai menjurus pada kemarahan Ali dan pada ancaman Umar dan tindakannya mengambil keputusan? Apa pun yang terjadi, seperti yang diceritakan orang pengaruhnya mengenai ini dalam sejarah Islam sampai sekarang masih terasa. Karena pengaruh inilah, setidak-tidaknya golongan Syiah dan golongan Alawi yang lain tidak mau menghargai Umar, bahkan tidak senang kepadanya.