Граф Александр Семенович Хвостов (1753–1820) позиционировал себя как стихотворец, переводчик и автор сатирических эпиграмм. Предметы, окружающие графа на портрете В.Л. Боровиковского, книги и бумаги, разложенные на столе, как раз указывают на эту сферу деятельности Хвостова. Атласный халат, в который художник облачил свою модель, так же как и небрежно повязанный шейный платок и взлохмаченные волосы, не просто подчеркивают непринужденную обстановку рабочего кабинета, но создают атмосферу домашнего уюта, не предназначенную для посторонних глаз. Легкая небрежность в облике выдает ленивый темперамент графа Хвостова, который отмечали его собратья по перу, такие как Н.А. Львов, граф Д.И. Хвостов и другие. По замечанию Ф.Ф. Вигеля, Хвостов считался тонким эпикурейцем. Свою любовь к праздности признавал и сам герой рассматриваемого портрета, отвечая своим оппонентам: «Лениться – жребий мой, и жребий неизбежен…»

Граф состоял членом Академии наук и председателем 3-го разряда Беседы любителей русского слова. Его литературный талант признавал Г.Р. Державин, долгие годы пользовавшийся его советами по поводу своих сочинений. Несмотря на это, перу Хвостова принадлежат не более трех десятков мелких стихотворений, из которых известность получили всего два произведения: шуточная ода «К бессмертию» и «Послание к творцу послания».

Орден Св. Георгия, заботливо выложенный на край стола, должен рассказать зрителю о славном прошлом героя портрета, когда он, во время русско-турецкой войны, командуя в чине полковника Троицким пехотным полком, отличился при взятии крепости Измаила (1790).

Использованный Боровиковским тип изображения модели в домашней одежде в рабочем кабинете был популярен в России с 1760-х годов. На сложение данной композиционной схемы оказала влияние художественная литература французского Просвещения, особенно романы Вольтера и Дидро, в которых формируется положительный образ философа, занимающегося в уединении учеными трудами. Примерами такого рода могут служить портреты С.В. Перфильева неизвестного художника (вторая половина 1760-х), неизвестного из семьи Салтыковых Д.Г. Левицкого (1780-е), П.А. Зубова кисти И.-Б. Лампи-старшего (1793).