Abu Ubaidah termasuk sahabat yang paling awal memeluk agama Islam. Ia mengikuti setiap pertempuran dalam membela Islam.
Abu Ubaidah adalah panglima perang bersama Khalid bin Walid yang membebaskan wilayah Syams (Suriah, Palestina, Yordania) di masa Khalifah Abu Bakar dan Umar.
Abu Ubaidah kemudian diangkat menjadi Gubernur Syams.
Ketika Khalifah Umar bin Khaththab radiallahu 'anhu datang ke Syams, dia berkata kepada Abu Ubaidah Ibnu Jarrah radhiallahu 'anhu, "Mari kita ke rumahmu".
Abu Ubaidah mengatakan: "Apa yang akan engkau lakukan di rumahku? Engkau hanya akan memeras air matamu (menangis) karenaku."
Dia menceritakan, maka masuklah Umar dan dia tidak melihat apapun. Tidak ada perabotan rumah.
Umar bertanya: "Dimana barang-barangmu? Aku hanya melihat pelana kuda, piring, dan geriba air, padahal engkau adalah seorang penguasa, apakah engkau punya makanan?"
Lalu Abu Ubaidah menuju sebuah keranjang dan mengambil beberapa serpihan roti. Umar langsung menangis.
Abu Ubaidah berkata kepadanya: "Sudah aku katakan, engkau pasti akan memeras air matamu karenaku wahai Amirul Mukminin, cukuplah sudah bagimu apa yang disampaikan orang-orang kepadamu."
Umar berkata: "Dunia telah merubah kami semua, kecuali engkau wahai Abu Ubaidah."
(Biografi Umar bin Khattab, Prof. Dr. Ali Muhammad Ash-Shalabi hal. 734-735)
