Pada era awal kemunculan peradaban islam, sistem pendidikan masih dalam ruang lingkup yang sederhana. pendidikan islam masih berupa pengajaran di Masjid-masjid atau di rumah-rumah para ulama dan pendidikan lebih banyak hal-hal yang bersifat dengan keagamaan. Sementara Pendidikan Umum di luar keagamaan belum diajarkan dan tersistem dengan masih dalam lingkup yang sederhana.
Seperti Pada Masa Kenabian, pendidikan dilakukan oleh Rasulullah sendiri dan para sahabat dengan memanfaatkan rumah Arqam bin abil arqam tentang hal-hal yang bersifat keagamaan islam.
Ketika pada masa Khulafaurrasyidin, dikenal adanya cara atau tempat pendidikan yang disebut Khuttab.
Khuttab adalah pendidikan disekitar masjid. pada umumnya khuttab berada di dalam masjid atau di sekitar Masjid. dalam penyelenggaraan pendidikan Agama di khutab, diajarkan hal-hal yang bersifat keagamaan dan pengajarnya tidak dibayar.
Memasuki masa pemerintahan bani Ummayah 661-750 M. Pendidikan di khuttab terus berjalan seperti masa sebelumnya, yakni zaman khulafaurrasyidin.
Tetapi Pengertian khuttab lebih menyeluruh lagi.
Khuttab pada masa Bani ummayah bukan sekedar pendidikan di sekitar masjid, tetapi juga pendidikan yang diselenggarakan di istana atau rumah-rumah pembesar. Bedanya khuttab yang dilakukan di masjid gurunya tidak dibayar, tetapi khuttab yang diselenggarakan di istana, gurunya dibayar.
Pengajaran di khuttab hanya bersifat mendasar, ilmu seperti menulis dan membaca serta berhitung diajarkan di khuttab. Peserta didik di khuttab pada umumnya adalah anak-anak dibawah 10 tahun. Jadi pengajaran yang ada di khuttab masih hal-hal yang mendasar.
Tokoh-tokoh terkenal seperti imam mazhab Fiqh, seperti Imam malik dan imam Syafi'i pun belajar di khuttab. Tetapi mereka memiliki kecerdasan yang luar biasa karena ketika belajar di khuttab, keduanya telah hapal Al Qur'an.
Jadi sebelum adanya sistem pendidikan madrasah, dikenal sistem pendidikan khuttab. sistem madrasah baru dikenal era bani Abbasiyah dan Salahuddin Al Ayyubi memerintah.
Contoh pada masa pemerintahan Salahuddin Al ayubi dikenal madrasah Al Muntasirriyah sebagai madrasah terbesar. di mesir, dan jerussalem juga terdapat puluhan madrasah.
Begitu pula ketika era pemerintahan Nurrudin zengi berkuasa, di kota damaskus terdapat 8 buah madrasah. Di Hims terdapat 4 madrasah dan di halab terdapat 4 madrasah.
*dari berbagai sumber