Центральная часть дворца является памятником архитектуры конца XVIII в.(1777-1796). С ее историей связана жизнь и деятельность выдающихся личностей Российского государства, государственных и военных деятелей Румянцевых и Паскевичей. В XIX-нач. XX в. помещения первого этажа центральной части дворца в жизни владельцев играли роль парадных помещений, где совершались приемы, проводились торжественные мероприятия. Архитектура и внешнее убранство помещений соответствовали их статусу. С момента создания дворца он несколько раз подвергался разрушению и восстанавливался. Сильно пострадал в 1919 году во время Стрекопытовского мятежа и в годы Великой Отечественной войны. Восстановительные работы после войны были завершены в 60-е годы XX в.

По обе стороны главного зала дворца - колонного, - открываются перспективы наполненных светом колонных галерей дворца. К ним ведут большие комнаты, называемые гостиными - комнатами для приема гостей. Эти комнаты не имели никакого особого назначения, и в разговоре между собой хозяева дворца - Паскевичи, различали их по цвету - "красная" и "белая". Белая гостиная открывала путь во владения князя Паскевича - павильон и башню, где все было пронизано воспоминаниями о ратных подвигах. Красная гостиная - вела к домовой церкви.