مهمترین اماکن قدیمی و تاریخی چمگردان برج ها هستند که نماد و نشانه مقاومت مردم در برابر راهزنان می باشند. زیبا ترین برج از نظر استواری و معماری برج اربابی بوده که در اردیبهشت ماه سال ۱۳۷۴ تخریب و به ساختمان مسکونی تبدیل شده است.

سایر برج ها نیز هریک به نوبه خود نشانه قدمت شهر و یاد آور گذشته این سرزمین بودند. به جز برج ها ساختمان عصاری که ۲۰۰متری غرب مسجد فاطمیه قرار داشت از بلند ترین ساختمانهای چمگردان بوده که اکنون اثری از آن نیست .