Замысел этого произведения родился в Абрамцеве в 1880 году, когда Савва Мамонтов предложил художникам написать картину на тему стихотворения Михаила Лермонтова «Желание». Одновременно с Василием Поленовым этой идеей увлекся Виктор Васнецов, хотя первому подобный сюжет был более близок. Во время и вскоре после возвращения из пенсионерской поездки по Европе в 1872–1876 годах Поленов создал ряд картин и этюдов, посвященных эпизодам из западноевропейской истории, действие которых разворачивалось на фоне средневековой архитектуры. Таковы его картины «Право господина» (1874, Третьяковская галерея) и «Арест гугенотки Жакобин де Монтебель, графини д’Этремон» (1875, Государственный Русский музей).

На тему лермонтовского стихотворения Поленов выполнил работу, находящуюся в Третьяковской галерее, и несколько карандашных набросков (все – 1881, Музей-заповедник В.Д. Поленова), на которых намечена композиция и изображены арфы разных видов. Вскоре художник уехал на Ближний Восток, а картина «Ворон» так и осталась неосуществленной. После своего возвращения из путешествия в 1882 году на 10-й выставке Товарищества передвижных художественных выставок Поленов заметил картину Васнецова «Ворон», известную также под названием «Зачем я не птица, не ворон степной…» (1882, Музей-заповедник В.Д. Поленова), и приобрел ее для своего собрания.

Каждый из художников, и Васнецов, и Поленов, создал свой образ древнего замка со сводчатыми потолками и окнами, и оба очень точно передали детали, описанные Лермонтовым в стихотворении: «наследственный щит», «заржавленный меч», шотландскую арфу. Но если у Васнецова композиционный и световой акцент сделан на атрибутах, щите и окровавленном мече, что придает произведению жанровый характер, то Поленов уделил внимание главным образом архитектуре – сводам и колоннам, сквозь которые виднеются небо, горы и замок.

Спустя много лет, когда в начале 1920-х годов Поленов создавал акварельные картины для светового театра-диорамы «Путешествие вокруг света», он вернулся к этой теме и на одном из эскизов изобразил сцену «Ворон в замке» (Музей-заповедник В.Д. Поленова).