Masjid yang juga dikenal dengan nama Masjid Gede Kauman ini terletak di sebelah barat Alun- Alun Utara yang secara simbolis merupakan transendensi untuk menunjukkan keberadaan Sultan, yaitu di samping pimpinan perang atau penguasa pemerintahan (senopati ing ngalaga), juga sebagai sayidin panatagama khalifatulah (wakil Allah) di dunia di dalam memimpin agama (panatagama) di kasultanan.

Dibangun pada masa Sri Sultan Hamengkubuwono I oleh seorang arsitek bernama K. Wiryokusumo, masjid ini mempunyai pengulu pertama yaitu Kyai Faqih Ibrahim Diponingrat. Seperti halnya masjid-masjid lain di Jawa, masjid ini beratap tumpang tiga dengan mustoko, masjid ini berdenah bujur sangkar, mempunyai serambi, pawestren, serta kolam di tiga sisi masjid. Namun beberapa keunikan yang dimiliki oleh masjid ini adalah mempunyai gapura depan dengan bentuk semar tinandu dan sepasang bangunan pagongan di halaman depan untuk tempat gamelan sekaten.

Masjid yang pernah dipugar akibat gempa bumi besar ini merupakan masjid jammi kerajaan yang berfungsi sebagai tempat beibadah, upacara kesagamaan, pusat syiar agama, dan tempat penegaan tata hukum keagamaan.

Seluruh kompleks Masjid ini dikelilingi oleh pagar tembok tinggi  di mana pada bagian utara terdapat Dalem Pengulon yaitu tempat tinggal serta kantor abdi dalem pengulu, serta di sebelah barat masjid terdapat beberapa makam yang diantaranya adalah makam Nyai Ahmad Dahlan. Abdi dalem pengulu inilah yang membawahi para abdi dalem bidang keagamaan lainnya, seperti abdi dalem pamethakan, suronoto, modin,

Kawasan di sekitar masjid merupakan kawasan pemukiman para santri ataupun ulama. Pemukiman tersebut lebih dikenal dengan nama Kauman dan Suronatan. Dalam perjalanan histories Yogyakarta, kehidupan religius di kampung tersebut menjadi inspirasi dan tempat yang kondusif bagi tumbuh dan berkembangnya gerakan keagamaan Muhammadyah pada tahun 1912 M yang dipimpin oleh K.H.A. Dahlan.