Damaskus diyakini sebagai kota tertua di dunia dan Masjid Umayyah berdiri di situs yang telah dianggap tanah suci selama 3.000 tahun lamanya. Ketika itu, Aram membangun sebuah kuil untuk Hadad, dewa badai dan kilat. Pada awal abad pertama, Roma kemudian tiba dan membangun sebuah candi besar untuk Jupiter yang melebihi kuil Aram. Kuil Romawi berdiri di atas platform empat persegi panjang (Temenos) yang berukuran sekitar 385 x 305 meter, dengan menara persegi di setiap sudut. Bagian dinding luar dari Temenos masih bertahan, tapi kini hampir tidak ada yang tersisa dari candi tersebut.
Pada akhir abad keempat, kawasan candi menjadi situs suci Kristen. Kuil Jupiter hancur dan sebuah gereja yang didedikasikan untuk Yohanes sang Pembaptis dibangun di atasnya. Gereja itu diyakini menyimpan kepala Yohanes Sang Pembaptis. Salah satu legenda juga mengatakan bahwa ketika gereja dihancurkan, kepalanya ditemukan di bawah, lengkap dengan kulit dan rambut. Kepala ini diyakini oleh beberapa orang untuk memiliki kekuatan magis dan terus menjadi fokus dari ziarah tahunan. Situs ini juga menjadi tujuan ziarah penting di era Bizantium Romawi.
Awalnya, penakluk Muslim Damaskus tahun 636 M tidak mengakui gereja sebagai bangunan bersama umat Muslim dan Kristen. Bangunan ini tetap sebuah gereja dan tempat berziarah bagi umat kristiani. Di bawah kepemimpinan Umayyah Al-Walid, gereja lalu dihancurkan dan masjid ini dibangun antara tahun 706 M dan 715 M. Ganti rugi dibayarkan kepada orang-orang Kristen sebagai kompensasi. Saat itu, Damaskus adalah salah satu kota paling penting di Timur Tengah dan kemudian menjadi ibu kota kekhalifahan Bani Umayyah.
Masjid Umayyah di Damaskus memiliki struktur megah. Terdapat ribuan karya pengrajin Koptik dan Persia asal India dan Bizantium. Bagian masjid Umayyah terbagi atas ruang salat, Triple-aisled atau aula seluas 160 meter persegi dengan atap kayu dan keramik, halaman yang luas dan ratusan kamar untuk para peziarah.
Selain itu ada arcade yang ditutupi marmer berwarna, mosaik kaca dan emas selebar 4.000 meter persegi. Masjid ini bisa dibilang memiliki mosaik emas terbesar di dunia. Pada masa Khalifah Al-Walid, menara masjid mengalami rekonstruksi bangunan sekitar tahun 1340 dan 1488 M. Menara di sudut tenggara disebut Minaret Yesus, karena umat muslim meyakini bahwa Yesus (Nabi Isa as) akan muncul saat kiamat tiba. Struktur menara dari masjid dikembangkan dari Temenos Romawi kuno dan tata letak bangunan ini mengikuti gaya Masjid Nabi di Madinah.
Masjid Umayyah telah dibangun beberapa kali akibat kebakaran di 1069 M, 1401 M dan 1893 M. Para panel marmer ditulis sesudah kebakaran pada tahun 1893, yang ketika itu api merusak mosaik besar. Pada tahun 2001, Paus Yohanes Paulus II mengunjungi masjid, terutama untuk mengunjungi peninggalan Yohanes Pembaptis. Ini adalah pertama kalinya seorang paus melakukan kunjungan ke masjid.
