وُلد محمّد عبد العزيز الرفاعي عام 1288 في مدينة ترابزون على الساحل الشرقي للبحر الأسود، وانتقل مع عائلته إلى استنبول، لاحظ معلّميه وهو في سنواته الأولى من التعليم إقباله الكبير على الخط، فأرسلوه إلى الخطّاط عارف الفلبوي، فلازم دروسه مدّة من الزمن في جامع نور العثماني فبزّ زملاءه واستوثقت بينه وبين أستاذه المودّة الخالصة، ويُروى أنّ عارفا أتى في يوم من أيام الشتاء الباردة إلى المدرسة وهو يقول في نفسه: لو لم يأت أحد لأتى عزيز! وفوجئ الأستاذ بتلميذه عزيز ينتظره وحده في القسم، فلم يتمالك أن قال له: إي بني، كنت مرهقا لدرجة أني لا أقوى على إعطاء الدرس، غير أنّي لم أشأ أن أتركك حزينا فجئت. فما كان من عزيز إلا أن انحنى إجلالا لأستاذه الكبير. وقد أخذ عن عارف الثلث والنسخ ونال منه الإجازة سنة 1314، أمّا الخطّ الفارسي فقد أخذه عن حسن حسني قرن أبادي أفندي ونال منه إجازة سنة 1312، وبموت أستاذه حسن حسني التحق بدروس سامي أفندي التي كان يلقيها في منزله بخُرْخُر فتعلّم منه الخطّين الجليّين الثلثي والفارسي، كما أتقن أيضا الديواني والرقعة والريحان والمحقّق. عمل مدرسا لحسن الخطّ في مدرسة القضاة والمدارس الرّشدية والمحمودية زيادة على عمله في المراتب المختلفة لباب المشيخة.
وبدعوة من الملك أحمد فؤاد الأوّل سنة 1340 سافر إلى مصر ليكتب له مصحفا، فكتبه بغاية الاتقان والضبط في ستّة أشهر، وأتمّ تذهيبه ونقشه في ثمانية أشهر فجاء آية من آيات الدهر في جودة خطّه وبديع نقشه، وأشير عليه بالبقاء في مصر بعد أداء مهمّته عندما أُلغيت الإدارة التي كان يشتغل بها في استنبول، وساهم في إنشاء مدرستي تحسين الخطوط (خليل آغا والشيخ صالح بالقاهرة) كما درّس بهما، وقام بإدارتهما، وتخرّج على يديه الكثيرون منهم محمّد علي المكّاوي. كان بارعا في كلّ الخطوط ويكتبها بسرعة كبيرة فُسمّي لذلك «سريع القلم» كما يخطّ كتاباته بعناية بالغة ويذهّبها بنفسه، ويوقّع أعماله باسم «عبد العزيز الأيوبي» أو «عزيز» إلاّ أنّه في آخر عهده أصبح يوقّع باسم «الشيخ محمد عبد العزيز الرفاعي» لانتمائه إلى الطريقة الرفاعية. انتشرت لاحاته الخطاطية المطبوعة في مصر، ويقتنيها حجّاج البيت الحرام، وذكر محمّد سعيد شريفي أنّه زار سنة 1390 مطبعة عتيقة في القاهرة كانت ما تزال حينئذ تطبع لاحاته بعدّة أحجام، كما ذكر أيضا أنّ تلميذه مكّاوي أخبره أنّ عبد العزيز نصحه عند الفراغ من تسطير لاحة أن يتركها أيّاما، ثمّ يرجع إليها ليكتشف ما تحتاج إليه من إصلاح. غالبا ما كان عبد العزيز يمضي مدّة عطلته الدراسية في الآستانة، وكانت آخر سفرته من مصر إليها أوائل سنة 1353 حين مرض مرضا شديدا ثمّ تُوفي بها في السنة المذكورة وعمره يناهز الخمسين رحمه الله تعالى، كان محمد عبد العزيز رجلا صالحا تقيا شريف النفس عالي الهمّة ذا هيبة ووقار، ومن هوايته الجِزاعة والزخرفة والتذهيب.