قلعة الأزنم إحدى تلك القلاع التي بُنيت حجرًا على حجر لتكون محطة واستراحة للحجاج تقع القلعة في وادي الأزنم بين محافظة الوجه وضباءوتبلغ من العمر قرونًا عدة، على مساحة تجاوزت 1500م.
لقد كانت قلعة الأزنم في العصور الإسلامية المتأخرة، لا سيما في عهد المماليك والعثمانيين إذ كانتا تستخدم محطة استراحة عند القدوم من الساحل، وعند الرحيل وكانت تخزن بها المؤن وكانت أيضًا مكانًا للأمانات، إذ يخزن فيها الحجاج بعض حاجياتهم التي لن يحتاجوا إليها وهم في الطريق لأداء مناسك الحج
وفي القرن الرابع عشر للميلاد، وتحديدًا من عام 1303 إلى 1340 للميلاد أمر السلطان المملوكي ناصر الدين محمد بن قلاوون ببناء هذه القلعة لاهتمامه بأمر الحجاج القادمين من مصر عبر ميناء الدهو الواقع اليوم في مدينة ضباء. وبعد قرن ونصف، وتحديدًا عام 1509م أمر السلطان قانصوه الغوري بعمل ترميم للقلعة، وإضافة بعض المرافق. ولقد زينت بقوالب حجرية على شكل أقواس يظهر فيها الطراز المملوكي. ولقد ذكرها ياقوت الحموي (أزنُم)بفتح الألف وضم النون واستشهد ببيت للشاعر كُثير عزة يقول فيه:
تأملت من آياتها بعد أهلهـا بأطراف أعظام فأذناب أزنم
اليوم القلعة مثل بقية القلاع الأثرية تخضع لاهتمام وترميم من قبل الهيئة العامة للسياحة والتراث والوطني، ولقد امر بترميمها
صاحب السمو الملكي الأمير سلطان بن سلمان بن عبدالعزيز رئيس الهيئة العامة للسياحة والتراث الوطني في عام 1433 للهجرة ولقد رُصد لها مبلغ 5 ملايين ريال سعودي لترميمها بالكامل، لتعود لسابق عهدها، ولكنها ستظل موقعًا أثريًا شاهدًا على طريق الحج القديم.