Киселёв учился в пейзажном классе Академии художеств у С.М. Воробьёва. В 1864 году, желая познакомиться с природой Малороссии, начинающий пейзажист отправился в Харьков, где судьба задержала его почти на десять лет. Здесь он давал уроки рисования, занимался иконописью, писал заметки в местной прессе, а затем женился и практически оставил занятия искусством, устроившись на службу в банк, чтобы обеспечить растущее семейство. В 1871 году в Харьков приехала первая выставка Товарищества передвижных художественных выставок (ТПХВ), что стало громким событием для провинциального города. Сопровождавший ее художник Г.Г. Мясоедов попросил Киселёва помочь в устройстве экспозиции. Вновь окунувшись в художественную среду, увидев картины передвижников и в особенности пейзажи И.И. Шишкина, А.К. Саврасова, М.К. Клодта, Киселёв задался вопросом – «усилием воли окончательно задушить в себе страсть к активному искусству или бросить службу, а с ней и материальный достаток, и снова искать счастья там, где я в лучшие годы искал его долго и напрасно».

Через год Киселёв оставил службу в банке и вернулся к своему призванию. В 1875 году на IV выставке ТПХВ он впервые экспонировал «Вид из окрестностей Харькова» (1875, Донецкий областной художественный музей), а в 1876 году был избран членом Товарищества передвижников. На протяжении жизни художник активно участвовал в деятельности ТПХВ, с 1890-х публиковал художественно-критические статьи в журнале «Артист», а с 1897 по 1911 год руководил пейзажной мастерской Высшего художественного училища при Академии художеств. В 1899 году он получил звание академика «за известность на художественном поприще».

С 1879 года и до самой смерти Киселёв вел дневник, педантично отражая в нем свои финансовые дела и кратко фиксируя события каждого прожитого дня. «Крамской написал портрет», – сообщает заметка от начала марта 1883 года. В это время художник находился в Петербурге, куда приехал из Москвы на открытие XI выставки ТПХВ, и, по всей видимости, на одной из дружеских встреч был создан его портрет. На холсте небольшого формата пейзажист изображен погрудно, взгляд его опущен, детально выписанное лицо подсвечивается белизной рубашки. Серо-черный, почти монохромный колорит созвучен сдержанному и сосредоточенному облику модели. Однако современники не раз отмечали жизнерадостный нрав Киселёва с «легким юмором», созвучный его светлым пейзажам, в которых всегда ощущалась «культурная умелость и искренность чувства».