Pondok Pesantren Nurul Ummah berdiri sejak tahun 1986. Peletakan batu pertama dilaksanakan pada tanggal 9 Februari 1986 / 30 Jumadil Awwal 1406 H oleh KH. Asyhari Marzuqi, KH. Nawawi Ngrukem, dan disaksikan oleh keluarga Krapyak. Sementara untuk upacaranya baru dilaksanakan dua hari kemudian yakni pada tanggal 11 Februari 1986 / 2 Jumadil Tsani 1406 H yang dihadiri oleh Wali Kota Yogyakarta Sugiarto, Pengurus Wilayah Nahdlatul Ulama (PW NU) D.I. Yogyakarta, dan masyarakat. Pondok Pesantren Nurul Ummah terletak di Jalan Raden Ronggo KG II/982 RT 27 RW 06 Prenggan Kotagede Yogyakarta.
Sementara itu, pemberian nama “Nurul Ummah” — di samping merupakan salah satu usulan dari H. Ahmad Arwan Bauis, S.H. — adalah hasil musyawarah bersama yang kemudian menyetujuinya sebagai nama pesantren. Dengan dipilihnya nama “Nurul Ummah” yang berarti “Cahaya Umat” ini diharapkan Pondok Pesantren Nurul Ummah bisa menjadi lembaga pendidikan Islam sebagai tempat mendalami agama (tafaqquh fi al-din), dan mampu memberikan sinar pencerahan yang menerangi dan mengarahkan umat dalam menggapai kebahagiaan dunia dan akhirat (al-sa’âdah fi al-dârayn).
Awal mula PP. Nurul Ummah berdiri dan mendapatkan santri, KH. Asyhari Marzuqi mengumumkannya kepada masyarakat terutama yang kenal dengan beliau dan ayahnya. Santri awal masuk yang ke PP. Nurul Ummah berjumlah 25 orang putra dan 2 orang putri, pada bulan Ramadhan tahun 1986. Lalu di tahun kedua jumlah ini meningkat menjadi 104 santri. Pada tahun ketiga, jumlah santri bertambah lagi menjadi 155 orang. Akhirnya pada tahun yang keempat, terhitung jumlah santri sebanyak 209 orang.
Pondok Pesantren Nurul Ummah berada dibawah Yayasan Pendidikan Bina Putra. Yayasan ini didirikan pada tanggal 12 Rabi‘ul Awal 1402 H/08 Januari 1982 M oleh Almarhum Bapak R.H. Suwardiyono, B.A. yang sekaligus menjabat sebagai ketuanya hingga akhir hayat, serta dibantu oleh beberapa orang yang kemudian menjadi pengurus yayasan pada periode pertama.