রাজবাড়ির বহিঃঅঙ্গন রাজবাড়ির মূল অংশ পেরিয়ে দ্বিতীয়াংশে রাজবাড়ির চতুর্পাশে দীর্ঘ ও প্রশস্ত পরিখার মধ্যে শুকসাগর, মাতাসাগর, আনন্দসাগর, ফুলবাগ, সব্জিবাগ, রাজ কর্মচারীদের আবাসস্থল ইত্যাদি ছিল। সুদৃঢ় নিরাপত্তা ব্যবস্থা নিশ্চিত করার জন্যই রাজবাড়িকে কেন্দ্র করে চারিদিকে এমন ব্যবস্থা গ্রহণ করা হয়েছিল। সে সব নিদর্শনের চিহ্ন এখনো কোথাও কোথাও দেখতে পাওয়া যায়। পদ্ম পুকুর রাজবাড়ির সদরমহল ও শুকসাগরের মধ্যবর্তী অংশে পদ্ম পুকুর অবস্থিত।