عمارت کلاه فرنگی، قبل ترها به کاخ عشرت آباد معروف بود. این کاخ که متعلق به دوره قاجار است، به فرمان ناصر الدین شاه در باغ بزرگی ساخته شد. باغ بسیار بزرگی که حوض زیبایی در وسط آن قرار داشت و دور تا دور حوض، کوشک ها و خانه های کوچکی بودند. در قسمت بالایی حوض، عمارت کلاه فرنگی زیبا قرار داشت.
بعد از دوره قاجار، این عمارت تبدیل به زندان شد و ماهیت دیگری پیدا کرد. خانه های کوچک و محوطه و آن حوض بزرگ، به مرور از بین رفتند و امروزه فقط کاخ اصلی، یعنی همان عمارت کلاه فرنگی، بر جای مانده است.
عمارت کلاه فرنگی عشرت آباد معماری کاملا ایرانی دارد و در 4 طبقه بنا شده است. هرچند که کاخ، درون پادگان قرار دارد و امکان بازدید همگانی از آن نیست، اما شنیده ها حاکی از آن است که ، قرار است این کاخ زیبا بازسازی شود و بعد از آن برای بازدید عموم آزاد باشد.