Мечтая об участии в Передвижной выставке и задумав написать для экспонирования на ней картину «Пустынник», Михаил Нестеров поселился для сбора материалов летом 1888 года в Сергиевом Посаде у Троице-Сергиевской лавры. В большом Троицком соборе его внимание привлек отец Гордей, его «детская улыбка и светящиеся бесконечной добротой» глаза. Решив писать с него голову для фигуры отшельника, Нестеров уговорил старца позировать ему. Во время работы монах, по воспоминаниям живописца, открывал ему «таинственный мир пустынножительства... восхищал своею простотой, своей угодностью Богу».

Этюды для пейзажа Нестеров писал в основном в окрестностях Сергиева Посада. Большое впечатление на него произвело Абрамцево с его «одной из живописнейших в этой местности» природой. В это лето он познакомился с Е.Г.Мамонтовой, хозяйкой абрамцевской усадьбы, найдя в ней «высокое проявление простоты и сердечности» и с другими обитателями усадьбы, участниками Абрамцевского кружка. Ему близка была их тяга «к народно-русской теме», его восхищали произведения Валентина Серова, Елены Поленовой, Виктора Васнецова, особенно его образа Богоматери и Сергия Радонежского в построенном здесь усадебном храме Спаса Нерукотворного (проект В.М.Васнецова, В.Д.Поленова). Осенью, возвратясь в Москву, Нестеров писал этюды для картины в Петровско-Разумовском парке. Затем само произведение было создано им на родине, в Уфе (и его первый вариант – «Пустынник». 1888, ГРМ, и представленный здесь второй вариант).

«Пустынник» был показан на 17-ой Передвижной выставке, став для зрителей «целым откровением», по словам А.Бенуа. Произведение Нестерова явилось первым в ряду подобных ему работ – «Видение отроку Варфоломею» (1889, ГТГ), «Под благовест» (1895, ГРМ), «Лисичка» (1914, ГТГ), «в которых только он и вылил все свое проникновенное умиление перед русской природой» (А.Бенуа), столь близкой «древней… душе народа» (С.Маковский).

Еще до экспонирования на Передвижной выставке картина была приобретена П.М.Третьяковым, став первой работой Нестерова в его собрании.