ورودی اصلی قلعه در حصار شرقی آن قرار گرفته که البته پایین‌ترین نقطه قلعه به شمار می‌رود. به طور کلی در معماری قلعه از سمت شرق به غرب سه بخش عمده قابل تشخیص است؛ بخش اول در سمت شرق شامل انبار علوفه، محل زندگی خدمه، محل نگهداری احشام و حوض انباری است. قسمت دوم قلعه که در مرکز قلعه قرار دارد، در ارتفاع بالاتری نسبت به بخش اول قرار گرفته است که در فاصله ۵۰ متری از محل نگهداری احشام احداث شده به محل نگهداری آذوقه و تدارکات نظامی و محل سکونت سربازان و مسجد اختصاص دارد و سومین بخش که حالت مرکزیت قلعه را دارد، در بالاترین بخش قلعه و در دو طبقه احداث شده که بر کل روستا و راه‌های ارتباطی پیرامون منطقه اشراف دارد.در بخش شرقی قلعه که ورودی، برج‌های نگهبانی، آب‌انبار و فضاهای دیگر را شامل می‌شود. به دلیل درصد بالای تخریب در آن‌ها امکان تشخیص دقیق نوع کاربری‌شان وجود ندارد. به دلیل وجود آثاری از برج و بارو در حد فاصل این بخش با بخش اول، این احتمال وجود دارد که مرحله دوم دفاعی قلعه بوده تا بدین وسیله لایه‌های دفاعی بخش اصلی قلعه یعنی کهندژ تکمیل‌تر شود. در گوشه شمال شرقی این قسمت برجی خشتی وجود دارد، با تزیینات چلیپایی یا طرح لوزی که در میان مردم روستا به برج کبوتر خانه شهرت دارد.

سومین بخش قلعه که در غربی‌ترین قسمت آن و نیز در مرتفع‌ترین بخش قلعه قرار دارد، به وسیله دو برج و حصاری مستحکم و بلند از بخش دوم جدا شده است. وجود این برج‌ها و حصارها نشان‌دهنده اهمیت زیاد این بخش است. این قسمت که کهندژ یا شاهنشین قلعه محسوب می‌شود، دارای فضاهای دست‌نخورده بیشتری نسبت به دو قسمت قبل است. وجود فضاهایی مانند هشتی‌ها، راهروهای ارتباطی، اصطبل، محل ذخیره آذوقه، برج‌های نگهبانی، و فضاهایی با کاربری‌های دیگر از مهم‌ترین ویژگی‌های این قسمت می‌باشد، کهندژ یا ارگ دارای دو طبقه بوده که طبقه فوقانی آن جز قسمت‌های محدود، دچار تخریب شده است. از دیگر عناصر معماری نقبی یا تونل است که به خارج از قلعه راه دارد که به منظور برداشت آب، در زمان محاصره قلعه یا خروج اضطراری و پنهانی ساخته شده است. این تونل زیر زمینی که در حال حاضر تا یکصد پله آن قابل تردد است، در جریان نبرد میرزا رفیع خان با میر علم خان و پسرش امیر اسدالله خان مورد استفاده قرار گرفت.

قلعه در مجموع دارای ۱۸ برج بوده که اکنون تعدادی از آن‌ها باقی‌مانده است. مصالح به کار رفته در ساخت قلعه بیشتر سنگ، آجر و خشت است. این قلعه بر بالای صخره‌ای سنگی پس از قرون متمادی همچنان در تاریخ بیرجند قامت خود را استوار نگهداشته است. همچنین بر بلندای حصار و برج‌ها، سازه‌های کنگره‌داری وجود دارد و منافذی جهت دیده‌بانی و دفاع دیده می‌شود. با توجه به آثار و بقایای معماری داخل قلعه چنین استنباط می‌شود که قلعه مزبور در چندین مرحله بازسازی شده و بر وسعت آن افزوده شده است. آخرین مرحله معماری آن مربوط به دوره افشاریه است که حصار فعلی قلعه و هشت برج مدور آن یادگاری از این دوره محسوب می‌شوند.تاکنون دو فصل کاوش در قلعه فورگ انجام شده است. فصل اول در سال ۱۳۸۰ در جریان عملیات مرمتی قلعه به منظور روشن شدن وضعیت پلان و نقشه قسمت کهندژ صورت پذیرفت. در جریان این فصل کاوش فضاهایی مانند اصطبل، انبار ذخیره آذوقه، نقب زیرزمینی و راهروهای ارتباطی قسمت‌های مختلف کهندژ شناسایی شده است.