Идея картины, посвященной крестному ходу, родилась у Репина на его «малой» родине, на Юге России в поселении Чугуев, где он жил с октября 1876 по июль 1877.

В Чугуеве Репин получил сильнейшее впечатление от увиденного крестного хода, запечатленного в первом известном живописном эскизе (1877, Государственный Русский Музей), в котором изобразил столкновение паломников за право приложиться к чудотворной иконе.

С этого времени тема крестного хода становится одной из главных в его творчестве. Она занимала художника с конца 1870-х годов по 1920-е годы и впоследствии реализовалась в двух монументальных полотнах - «Крестный ход в Курской губернии» (1881–1883) и «Крестный ход в дубовом лесу. Явленная икона» (1877–1924, Чехия). По замыслу автора, первая картина связана с современным крестным ходом, вторая — с «прежним», патриархальным, то есть до отмены крепостного права.

Вернувшись из провинции в августе 1877 года, Репин был доволен, что приехал в Москву с «полным запасом художественного добра». Идея картины, посвященной крестному ходу не оставляла его. В письмах он с упоением делится планами, называя свое будущее произведение „Чудотворная или Явленная икона“, и констатирует, что композиция складывается «недурно». Репину были важны натурные впечатления, которые подсказывали ему возможные решения сцены религиозного народного шествия. Так, его вдохновила мысль о том, что сцена может разворачиваться на фоне дремучего леса, а «толпа идет по лесной дороге». В течение 1877–1878 года Репин активно разрабатывал пластическое решение полотна.

Год спустя, весной 1878 года он признался, что над ним «восторжествовал» «Крестный ход», и все думы только о нем, и холст уже подмалеван. В эту пору Репин занят поиском подходящей натуры, ему важно работать этюды на солнце «для всякой всячины». «Вообще в Москве я работаю много и с удовольствием: при квартире у меня довольно большой с[а]дик, и я пишу в нем этюды на солнце и на воздухе…», - откровенничал он со Стасовым. Видимо, около этого времени Репин исполнил эскиз, изображающий чинное и благолепное шествие крестного хода, в котором претворил импрессионистические уроки, усвоенные им в Париже, во время пенсионерской поездки.