این قلعه به دستور عبدالرحیم خان بافقی در سال 1225 قمری در سه مرحله ساخته شده است و مصالح به کار رفته در آن منحصر به خشت و گل است. قلعه دارای 45 اتاق در اندازه ها و ابعاد متفتوت است.

     برج شمالی با ارتفاع 8 متر در دو طبقه و برج جنوبی با ارتفاع 11 متر در دو طبقه و به صورت هشت ضلعی بنا شده است. در روستای باقرآباد آثار تاریخی دیگری همچون دنگ خانه، آسیای گاوی و برج تاریخی نیز دیده می شود. در حال حاضر قلعه باقرآباد با مدیریت بخش خصوصی به یکی از بومگردی ها و قلعه های مسکونی کشور تبدیل شده است و پذیرای گردشگران می باشد.