Открытка из комплекта «Москва заповедная» с изображением палат Волковых-Юсуповых в Большом Харитоньевском переулке. Одно из старейших гражданских зданий города находится по адресу: Большой Харитоньевский переулок, дом 21, строение 4. Наиболее вероятной датой постройки существующих палат, по мнению исследователей, нужно считать конец XVII века. В это время сформировался комплекс двухэтажных построек с характерным декором в стиле московского барокко.
В 1801 году средний дом комплекса с хозяйственными службами – кладовою, кухней, амбаром, конюшней, хлебным и каретным сараями – снимал Сергей Львович Пушкин, отец великого поэта. К тому времени близ дома был разбит фруктовый сад, в котором гулял с няней маленький Пушкин. Позднее он перенес свои детские впечатления от сада в поэму «Руслан и Людмила». Будущий поэт прожил в Харитоньевском только три года. Некоторые москвоведы полагают, что именно с легкой руки Пушкина переулок, в котором находится Юсуповский дворец, получил название Харитоньевский. В пушкинские времена переулок назывался Хомутовский – по имени не слишком известного домовладельца Хомутова, жившего здесь в XVIII веке.