قال جامع ديوان الشيخ جعفر الخطي: كان بين الشيخ جعفر وبين الخاجة المعظم إبراهيم بن محمد المترجم وبين الشريف ناصر العلوي الموسوي من الإلفة والصحبة والأنس والخلطة ما حمله على مدحهما وشكر صنيعهما. وذريته موجودة اليوم يعرفون بآل خاجة وموطنهم في المنامة.