Картина "Призраки" написана в усадьбе Зубриловка, расположенной в северной части Саратовской губернии, на земле, подаренной Екатериной II генералу Сергею Голицыну. Вместе с художником там проводили лето его сестра и невеста, которые позировали для картины «Водоем». Но наступила осень, сестра и невеста уехали, и Борисов-Мусатов в одиночестве, зная, что скоро и он покинет старую усадьбу, начал работу над новой картиной.

Близкий друг и первый исследователь творчества художника, Владимир Станюкович, вспоминал, как однажды, в ненастный осенний вечер, возвращаясь с этюда, художник шел мимо старого дворца. Когда он вошел в цветник, окружавший дом, – луч солнца, пробившись на закате, брызнул по вершине фасада дворца, и старый, молчаливый замок словно вырос. И все вокруг этого ожившего дома, и он сам – приобрело совершенно иной, нереальный вид. Вместе с этим последним лучом встала вся печаль отжитого. Возле дома, где Борисов-Мусатов писал невесту и сестру на берегу водоема в солнечные летние дни, с наступлением осени краски стали уже не трепетно сине-голубыми, но печальными, серыми, все гармонировало с темным осенним небом, покрытым тучами. Это создавало настроение грусти, возникшее с окончанием жизни опустевшего помещичьего дома, когда все «уходило в прошлое». Этот момент глубоко запал в памяти художника, он захотел изобразить его и написал первый вариант "Призраков". Этот первый вариант до нас не дошел, однако Станюкович достаточно подробно описывает уничтоженный эскиз картины, в котором все написано реально, с натуры, но в нем нет обобщений, нет «симфонии» – по рисунку и по краскам. Он был ближе действительности, но «лишен тайны». В окончательном варианте картины все призрачно на полотне. Даже дом на заднем плане невесом и зыбок, а удаляющиеся призрачные женские фигуры совсем бесплотны – они не принадлежат к реальному миру, живут своею печальной жизнью, возникают в ненастных сумерках осеннего вечера в парках старых заглохших усадеб и остаются лишь в воспоминаниях.