Mit Muhammads Tod stand die muslimische Gemeinschaft dem Problem der Nachfolge gegenüber.  Wer sollte der Führer sein?  Vier Personen waren offensichtlich für die Führerschaft vorgemerkt: Abu Bakr al-Siddieq, der Muhammad nicht nur zehn Jahre zuvor nach Medina begleitet hatte, sondern der auch dazu bestimmt wurde, die Menschen während der letzten Krankheit des Propheten im öffentlichen Gebet zu führen; Umar ibn al-Khattab, ein fähiger und vertrauenswürdiger Gefährte des Propheten; Uthman ibn ‘Affan, ein respektierter früher Konvertierter und ‘Ali ibn Abi Talib, Muhammads Kousin und Schwiegersohn.  Ihre Frömmigkeit und Fähigkeit, die Angelegenheiten der islamischen Nation zu lenken, war bei allen außergewöhnlich.  Bei einem Treffen, das einberaumt worden war, um die Führerschaft festzulegen, ergriff Umar die Hand von Abu Bakr und schwor ihm seinen Treueeid, ein traditionelles Zeichen, dass er ihn als neuen Führer anerkannte.  Bei Sonnenuntergang kamen alle zusammen und Abu Bakr wurde als Khaliefah – eingedeutscht: Kalif – anerkannt; dieses Wort bedeutet eigentlich "Nachfolger", deutet aber auch an, welche historische Rolle er spielen würde: gemäß dem Quran und der Handlungsweise des Propheten zu regieren. 

Abu Bakrs Kalifat war kurz aber bedeutend.  Ein vorbildlicher Führer, er lebte einfach, erfüllte eifrig seine religiösen Pflichten und war seinem Volk zugänglich und sympatisch.  Aber als einige Stämme, die den Islam nur dem Namen nach anerkannt hatten, ihn unmittelbar nach dem Tod des Propheten widerriefen, erwies er sich als standhaft.  In einer großen Vollendung disziplinierte Abu Bakr sie unverzüglich.  Später vereinte er die Kräfte der Stämme auf der Arabischen Halbinsel und konzentrierte ihre Energie gegen die mächtigen Imperien des Ostens: Sassaniden in Persien und die Byzantiner in Syrien, Palästina und Ägypten.  Kurz: er demonstrierte die Lebensfähigkeit des Muslimischen Staates. 

Der zweite Kalif, Umar – von Abu Bakr benannt, fuhr damit fort, diese Lebensfähigkeit zu demonstrieren.  Er nahm den Titel Amier al-Muminien oder Befehlshaber der Gläubigen an und weitete die Islamische Herrschaft mit vom rein militärischen Standpunkt her erstaunlichen Siegen auf Syrien, Ägypten, Irak und Persien aus.  Innerhalb von vier Jahren nach dem Tod des Propheten hatte der muslimische Staat seinen Herrschaftsbereich auf ganz Syrien ausgeweitet und hatte in einer berühmten Schlacht während eines Sandsturms in der Nähe des Flusses Yarmuk die Macht der Byzantiner beschnitten – deren Herrscher, Heraklius, sich kurz zuvor geweigert hatte, den Ruf des Islam anzunehmen. 

Was sogar noch erstaunlicher ist, ist die Art mit der der muslimische Staat die eroberten Territorien verwaltete: mit einer Toleranz die zu jener Zeit nicht alltäglich war.  In Damaskus beispielsweise unterzeichnete der muslimische Führer, Khalid ibn al-Walid, folgenden Vertrag: 

Dies ist, was Khalid ibn al-Walid den Bewohnern von Damaskus gewährt, wenn er dort einzieht:  er verspricht ihnen, dass ihre Leben, ihr Besitz und ihre Kirchen in Sicherheit sind.  Ihre Stadtmauer soll nicht beschädigt werden; es soll kein Muslim in ihren Häusern einquartiert werden.  Dazu geben wir ihnen den Vertrag Gottes und den Schutz Seines Propheten, des Kalifs und der Gläubigen.  Solange sie die Kopfsteuer bezahlen, soll ihnen nichts als Gutes widerfahren. 

Diese Toleranz war bezeichnend für den Islam.  Ein Jahr nach Yarmuuk erhielt Umar in dem Militärlager von al-Jabijah auf dn Golanhöhen das Wort, dass die Byzantiner bereit seien, Jerusalem zu übergeben.  Daraufhin ritt er persönlich hin, um die Übergabe anzunehmen.  Einer Überlieferung zufolge betrat er die Stadt alleine und mit einem einfachen Umhang bekleidet, was die Menschen in höchstes Erstaunen versetzte, die die verschwenderischen Trachten und Hofzeremonien der Byzantiner und Perser gewohnt waren.  Er erstaunte sie noch mehr, als er ihre Befürchtungen beruhigte, indem er einen großzügigen Vertrag abschloss, in welchem er festlegte: "Im Namen Gottes...ihr habt vollkommene Sicherheit für eure Kirchen, die von den Muslimen weder besetzt noch beschädigt werden sollen." 

Diese Politik erwies sich überall als erfolgreich.  In Syrien beispielsweise, freuten sich zahlreiche Christen, die in schwere theologische Konflikte mit den herrschenden Byzaninern verwickelt gewesen waren – und deshalb verfolgt wurden, über das Kommen des Islam und das Ende der Tyrannei.  Und in Ägypten, das Amr ibn al-As nach einem unerschrockenen Marsch durch die Sinai-Halbinsel von den Byzantinern übernahm, hießen die koptischen Christen die Araber nicht nur willkommen, sondern unterstützten sie enthusiastisch. 

Dieses Muster wiederholte sich im gesamten Byzantiner Reich.  Konflikte zwischen grichisch Orthodoxen, syrischen Monophysiten, Kopten und nestorischen Christen trugen zum Fall der Byzantiner – die immer als Eindringline betrachtet wurden – mit dazu bei, öffentliche Unterstützung zu entwickeln, wohingegen die Toleranz, welche die Muslime gegenüber Christen und Juden an den Tag legten, den primären Grund, sie abzulehnen, aufhob. 

Umar nahm diese Eigenschaft auch bei der Verwaltung an.  Obgleich er Muslime als Statthalter in die neuen Provinzen schickte, wurden existierende byzantinische und persische Verwalter beibehalten, wo es möglich war.  Fünfzig Jahre lang war Griechisch die offizielle Sprache in Syrien, Ägypten und Palästina gewesen, während Pahlavi die offizielle Sprache der Sassaniden weiterhin in Mesopotanien und Persien benutzt wurde.  

Umar, der zehn Jahre lang Kalif war, beendete seine Herrschaft mit einem bedeutenden Sieg über das Persische Reich.  Der Kampf gegen das Sassanidische Reich hatte 636 bei al-Qadisiyah begonnen, in der Nähe von Ctesiphon im Irak, wo die Kavallerie der Muslime sich erfolgreich mit den Elefanten messen konnten, welche von den Persern als eine Art einfacher Panzer eingesetzt wurden.  Mit der Schlacht von Nihavand besiegelte Umar dann das Schicksal Persiens; von da an bildete es eine der wichtigsten Provinzen des muslimischen Reiches. 

Sein Kalifat war ein Höhepunkt der frühen islamischen Geschichte.  Er war bekannt für seine Gerechtigkeit, seine sozialen Ideale, seine Verwaltung und seine Staatsführerschaft.  Seine Erneuerungen hinterließen einen alles überdauernden Eindruck auf die soziale Fürsorge, die Steuer und die finanzielle und verwaltungspolitische Beschaffenheit des wachsenden Reiches.