先知穆罕默德在世时，没有明确指定继承人。因此，他去世后，选择接班人成了众穆斯林面临的首要问题，为此产生了激烈的角逐。究竟谁将胜任？其中，四个人明显成为其候选人：艾布·伯克尔，他不仅伴随穆罕默德十年，而且在穆罕默德病重期间曾指定他顶替穆罕默德作为伊玛目；欧麦尔·本·罕塔布，先知身边最有才干和忠实的门弟子；奥斯曼·本·阿凡，一位可敬的早期归信者；阿里·本·塔利卜，穆罕默德的堂弟和女婿。而唯有虔诚的、有才干，且统领伊斯兰民族事务者才能带领众穆斯林步入辉煌。在主持表决新领袖会议上，欧麦尔抓住艾布·伯克尔的手，向他示意效忠，这是承认新领袖的传统标志。时值黄昏，每个人都表示同意，由艾布·伯克尔任穆罕默德的哈里发（Khaleefah）。哈里发（英语译为“caliph”）意为“继承人”，并且暗示了他的历史角色：即依照《古兰经》和圣训指导统领穆斯林。

哈里发艾布·伯克尔的任期很短，但非常重要。他生活简朴，刻苦勤勉，完全履行宗教义务，平易近人，贴恤民情。有一部分部落只是名义上接受了伊斯兰，当得知先知去世时，他们便宣布放弃伊斯兰，而艾布·伯克尔依然站稳了立场，并在涉及一些重大决策方面，当机立断，秉公执法。后来，他联合阿拉伯半岛各部落，相继征服了东方各大帝国：即位于波斯的萨珊王朝，以及位于叙利亚、巴勒斯坦、埃及的拜占庭帝国。在很短的时间内，他证实了穆斯林国家的可行性。

哈里发欧麦尔，由艾布·伯克尔任命，并被尊称为“信士的长官”（Ameer al-Mumineen）。欧麦尔继续远征，并将伊斯兰的版图扩展到叙利亚、埃及、伊拉克和波斯等地区，取得了辉煌的胜利。先知去世后的第四年，拜占庭帝国皇帝希拉克略拒绝接受伊斯兰的号召。不久，欧麦尔任命哈立德为统帅，在约旦河支流雅穆克河附近与拜占庭军队进行了决战，史称“雅穆克河之战”。在这次战争中，穆斯林军队利用骑兵善于骑射的特点，利用沙暴为掩护，发起攻击，全歼拜军，先锋统帅王弟提奥多拉被杀，东罗马军全线崩溃，穆斯林军队彻底征服了沙姆地区。

更令人震惊的是，穆斯林政府对于所征服领地的居民，视为己民，一律予以仁政，这在那一时代是前所未有的。例如，在大马士革，穆斯林领袖哈立德·本·瓦利德与当地居民签署了以下条约：

哈立德·本·瓦利德承诺大马士革居民：倘若他进了城，他答应保护他们的生命、财产和教堂；他们的城墙不被拆除，穆斯林军队不得驻扎在他们的房屋里；我们给予他们真主的契约，以及先知、哈里发和信士们的保护；只要他们缴纳人丁税，他们就会享受一切福利。

这就是典型的伊斯兰的宽容。在“雅穆克”之战一年之后，欧麦尔在戈兰高地扎比尔军营里收到消息，拜占庭人在耶路撒冷准备投降。为此，他亲临到耶路撒冷，接受了他们的投降。据说，他曾身着简陋的斗篷，独自一人进入该城市，而令人吃惊的是，那里的平民都已习惯了拜占庭和波斯华丽的服侍和法庭的礼仪。他尽力用宽容的条约使他们恐惧的心能够平静下来，并对他们说道：“奉至仁至慈的安拉之名，……你们已经是安全的，穆斯林既不会驻扎你们的房屋，也不会拆除你们的教堂。”

此政策在每个地方都行之有效且被成功运行。例如，在叙利亚，在伊斯兰之前许多曾参与了同拜占庭宫廷激烈神学争执而为之遭受迫害的基督徒，应邀归信了伊斯兰，以结束暴政。而在埃及，阿穆尔·本·阿斯消除了拜占庭在西奈半岛所留下的恐惧，科普特基督徒不仅受到阿拉伯人的欢迎，而且为他们提供了很多的帮助。

欧麦尔在管理方面善于借鉴成功的经验。尽管他指定穆斯林为新省区的长官，但仍然有拜占庭人和波斯人参与行政的。事实上，希腊语仍然继续作为叙利亚、埃及和巴勒斯坦等地区的官方语言保持了50年之久，而曾为萨珊王朝官方语言的巴列维语，继续在美索不达米亚和波斯等地区使用。

欧麦尔在任哈里发的十年中，征服了整个波斯帝国。公元636年，在位于今伊拉克首都巴格达泰西封附近的卡迪西亚之战中，穆斯林骑兵成功利用波斯人所用的大象作为原始的一种“坦克”打败萨珊王朝。被称之为“征服者的征服”的尼哈温之战击溃了最后的波斯大军主力，自此以后，该地区成为了伊斯兰国家最重要的省区。

欧麦尔时任哈里发是伊斯兰历史上的至高点。他以虔诚公正、品德高尚、善于管理，以及才略出众而闻名，并在社会福利、税收，以及财政、行政等方面的改革，为正在茁壮成长的阿拉伯伊斯兰帝国奠定了坚实的基础。