براساس نقل قو لهای مختلف احداث بنای اصلی عمارت آصف که شامل تالار تشریفات است به دوران صفویه باز می‌گردد که دردوره‌های بعدی بویژه دردوران قاجاریه و پهلوی بتدریج بخش‌هایی به آن افزوده شده است.
سردر ورودی بنا با نمای آجری که به شکل نیم هشتی است بر اساس سبک باروک ایرانی ساخته شده است.تالار تشریفات و ایوان ستون دار با اروسی پُرکار آن از بخش‌های بسیار زیبای بنا محسوب می‌شود.
عمارت دارای یک رشته قنات است که اکنون آب آب نمای مقابل تالار از آن تامین می‌شود. بنا شامل تزئینات معماری همانند گچبری، آینه کاری و کار چوب است. همچنین سیستم آبرسانی این عمارت که از آب جاری و قنات می‌باشد رهاسازی و احیا شده است.
در قسمت جنوبی و در ابتدای ورود به عمارت و مسیر دالان منتهی به حیاط مرکزی دری به سمت راست باز می‌شود که درگذشته حیاط مستخدمین بوده و با توجه به اینکه بخش‌های مختلف این قسمت به کلی تخریب شده و هیچ آثار و شواهدی از گذشته به جای نمانده بود، با مسقف نمودن بخش عمده‌ای از این فضا به وسیله گنبدهای آجری و احیا نمودن حوض اصلی و ساخت رواق در اطراف آن، این قسمت ویژه نگارخانه اختصاص یافته است.