Mahmud lahir pada hari Sabtu 30 Ramadhan 1316 H ( 10 F ebruari 1899 M ) di Desa Sungayang Batusangkar Sumatera Barat. Pada usia kira – kira 7 ( tujuh ) tahun Mahmud mulai mengaji Al – Qur’an di surau kakeknya M. Thahir bin M. Ali gelar Engku Gadang. Mahmud belajar dengan tekun setiap malam dan pagi sesudah shalat Subuh. Siang hari bermain seperti anak – anak lainnya. Meskipun Mahmud telah tamat membaca Al – Qur’an, tetapi tetap tinggal di surau sebagai guru bantu, Mahmud juga belajar mengenai ilmu saraf. Pada masa anak – anak, pelajaran yang terpenting ialah membaca Al – Qur’an, shalat dan puasa. Guru juga menceritakan tentang surga, neraka, padang mahsyar, tanda – tanda hari akan kiamat dan lain sebagainya.

Pada tahun 1908 masuk sekolah Desa kelas I. Kira – kira 4 ( empat ) bulan Mahmud dinaikkan ke kelas II . Mahmud sewaktu kelas 4 ( empat ), pindah kesekolah Madrasah ( sekolah agama ) biasa disebut Madras School atau Sekolah Surau yang didirikan oleh H. M. Thaib Umar bertempat di Surau Tanjung Pauh. Mata pelajaran yang terutama adalah :
1. Ilmu Nahu, dari kitab Durusun Nahwiyah
2. Ilmu Saraf, diberikan secara lisan
3. Berhitung menurut cara Ahli Hisab Arab ( system Faraid )
4. Bahasa Arab dengan cara bercakap – cakap.