پدرش، آیت‌الله حاج میرزا محمود، مجتهد بارز روزگار خود بود که در بخشی از مسجد مقدس امام حسن عسکری علیه‌السلام قم اقامه جماعت می‌کرد و این در حالی بود که آیت‌الله شیخ ابوالقاسم قمی، به عنوان یکی از مراجع آن روزگار، در بخش دیگری از همین مسجد، نماز جماعت داشت. در مقامات عرفانی آیت‌الله میرزا محمود زاهدی همین‌بس که روزی مشاهده کرد مردم در نماز جماعت او بیشتر شرکت می‌کنند و جمعیت پشت سر آیت‌الله قمی کم شده است. این بود که برخاست و از مردم خواست تا به او اقتدا نکنند، بلکه به نماز جماعت آیت‌الله قمی بشتابند. ایشان خود هم برای رونق نماز آیت‌الله قمی، مدتی صحنه را ترک کرد.
میرزا ابوالفضل در زیر سایه چنین پدری رشد و نمو یافت و در حوزه علیمه قم از محضر بزرگانی مانند حضرات آیات حاج‌میرزا محمد ارباب، حاج سیدصادق قمی، میرزا علی‌اکبر مدرس یزدی و حاج شیخ ابوالقاسم کبیر قمی کسب فیض کرد.
او در ادامه سفری به اراک داشت و به جرگه شاگردان بارز آیت‌الله حاج شیخ عبدالکریم حائری یزدی درآمد و از افرادی بود که استاد را به مهاجرت به قم تشویق کردند. همچنین پس از مهاجرت آیت‌الله حائری به قم، همراه استاد به قم بازگشت و از شاگردان برجسته ایشان بود.
آیت‌الله زاهدی البته چنان مورد وثوق آیت‌الله حائری یزدی بود که هرگاه ایشان برای نماز جماعت صحن حرم مطهر حضرت فاطمه‌معصومه سلام‌الله علیها حاضر نمی‌شد، آیت‌الله زاهدی را به جای خود تعیین می‌کرد.
آیت‌الله زاهدی سپس به جرگه شاگردان خاص آیت‌الله بروجردی هم پای نهاد و سال‌ها در محضر خاص ایشان بود و به عنوان سخنگویی برای استاد، ایفای نقش کرد.
آن عالم مجاهد همچنین مانند پدر مرحومش، سابقه سال‌ها اقامه جماعت در مسجد مقدس امام حسن عسکری(ع) قم را دارد و البته در طرح توسعه این مسجد و مساجد دیگر قم مانند مسجد چهارمردان و مسجد ملاجعفر بازار هم نقش فعالی ایفا کرد.
از ویژگی‌های منحصر به فرد آیت‌الله زاهدی، باید به تسلط ایشان به زبان‌های انگلیسی و عبری اشاره کرد که نقش ویژه‌ای در موفقیت امر تبلیغ ایشان و گفت‌وگوی بین ادیان داشت. جالب این است که ایشان زبان عبری را از یک فرد یهودی که به دست ایشان مسلمان شده بود، آموخت.
از این عالم اندیشمند، آثار ماندگاری به جای مانده است که «افعل و ما افعل»، «منطق الحسین»، «مقصد الحسین»، «اثبات المعلوم فی نفی المفهوم» و «اقسام الدین» از آن جمله است. ایشان همچنین با تسلط کاملی که به علوم معقول و منقول داشت، توفیق کسب کرد تا کتاب ارزشمند «وسائل الشیعه» را از آغاز تا پایان مورد بررسی موشکافانه و علمی قرار دهد.
او همچنین توفیق یافت که ۱۰ سال در مسجد جامع بازار تهران، به اقامه جماعت، تدریس و موعظه و ارشاد مردم بپردازد و البته پس از آن آیت‌الله بروجردی مجددا ایشان را به قم بازگرداندند.
آن‌گونه که نقل می‌کنند، منبر ایشان بسیار شنیدنی بود و مردم از سخنان ایشان خسته نمی‌شدند؛ چرا که منبر را با لطایف آموزنده و البته گفتار خوش و مهرانگیز در می‌آمیخت.
همچنین امام خمینی همیشه احترام ایشان را با توجه به سن بالاترشان نگه می‌داشتند و وی را «شیخ الفقها» می‌نامیدند. آیت‌الله زاهدی هم متقابلا احترام امام را به عنوان رهبر نهضت اسلامی حفظ می‌کرد و با سخنرانی‌ها و منبرهای پر شور و کوبنده خود، نهضت ایشان را علیه رژیم ستمشاهی، تایید می‌فرمود.
سرانجام این فقیه و واعظ وارسته در ۸۹ سالگی و در دوازدهمین روز از فروردین ماه ۱۳۵۷ دعوت حق را لبیک گفت و مراسم تشییع مالامال از جمعیت او – که همزمان با اوج نهضت خمینی کبیر علیه رژیم ستمشاهی بود – موجب شد تا با فشار جمعیت، در مدرسه فیضیه پس از مدت‌ها گشوده شود و هراس به دل سربازان و تفنگداران رژیم ستمشاهی بیفتد.
سپس پیکر مطهر آن عالم ربانی را از مدرسه فیضیه به قبرستان شیخان منتقل کردند و در نزدیکی مرقد مطهر حضرت زکریابن‌آدم رحمت‌الله‌علیه به خاک سپردند.
باید گفت چهلمین روز رحلت این عالم روحانی، خود فرصتی دیگر برای ضربه زدن به رژیم شاه پدید آورد و موجب صدور اعلامیه‌های دسته جمعی مراجع علیه جنایات رژیم ستمشاهی بر ضد مردم شد. عاش سعیدا و مات سعیدا.