В начале ХХ века своеобразным знамением времени стало возрождение интереса к Античности. Многие художники занялись ее поисками в современности, и к их числу принадлежал Ульянов. Знакомство с природой и искусством Италии, которую он посещал в 1907 и 1912 годах, а затем общение с поэтом и философом Вяч. Ивановым помогли ему поверить, что и на берегах российских рек «фантазия поэта может увидеть родных нимф, еще не обретших голоса своих античных сестер». На многочисленных картинах и рисунках художника появились изображения купальщиц. П.П. Муратов писал: «Неизвестно, где находятся эти берега с купающимися фигурами… Они в той стране, где непрестанна встреча и неразрывна связь человека и природы». В ранних ульяновских композициях часто возникают отсылки к мифологии, и на берегу русской реки за деревенскими женщинами может подглядывать Актеон.

Позднее в живописи Ульянова начинает доминировать восхищение земной полнокровной красотой купальщиц, и примером этого нового мирочувствования стала картина «У воды». Художник, по сути, повторил в ней излюбленный мотив, который он варьировал в композициях, известных под названием «Элизиум». Две обнаженные женщины расположились на узкой косе, глубоко вдающейся то ли в реку, то ли в пруд, и завороженно вглядываются в зеркальную водную гладь. Пластическое решение картины можно воспринимать как свидетельство того, что и в 1920-е годы художник хранил верность принципам, сформировавшимся, когда он «захотел красок и расширения своей палитры. К линейным ритмам… стал искать ритм цвета – равновесие двух живописных начал».

Очертания крон деревьев на заднем плане заключены в почти правильные геометрические формы. Красное полотенце на плечах сидящей купальщицы задает звучный аккорд в картине, выдержанной в холодной цветовой гамме. Верхняя граница холста почти касается головы сидящей женщины, как бы отсекая бóльшую часть неба, в поле зрения попадает лишь узкая его полоса с серебристыми облаками, но в водной глади можно увидеть сияющую синеву, оживленную облаками-барашками. Так рождается впечатление, что именно за гладью воды с отражением неба скрываются «тайны, непостижные уму».