Рельеф «Лошадь с жеребенком» выполнен в импрессионистической манере. Крупными фактурными мазками выразительно акцентированы важные для создания эмоционального образа детали: взрослая лошадь выглядит болезненно исхудавшей, что автор подчеркивает резкими, глубокими мазками, а маленький, недавно родившийся жеребенок, идущий рядом, здоров и грациозен. Его силуэт четко обозначен, в то время как рисунок тела матери словно тает в пространстве.

В воспоминаниях о А.С. Голубкиной есть много упоминаний о ее душевной сострадательности в отношении к животным. Особенно Анна Семёновна любила лошадей – она даже избегала ездить на извозчиках, предпочитая трамвай. В ее творчестве есть несколько работ с лошадьми, выполненных в разных материалах: малые рельефы «Лошадь с жеребенком» в гипсе и «Лошадь с жеребенком» в дереве, большой бронзовый рельеф «Лошади» и камея «Пейзаж с лошадью». Примечательно и то, что Голубкина в большинстве случаев создавала лошадей в рельефах, для передачи живописности, в которой можно отразить больше страданий и обреченности. Сохранилась всего одна круглая скульптура с таким изображением – керамическая игрушка «Лошадь».

В 1932 году семья скульптора преподнесла произведение в дар государству в составе сохраненного наследия художника. Два года спустя в творческой студии А.С. Голубкиной был открыт первый в стране и четвертый в мире музей одного скульптора. Но в 1952 году он был ликвидирован, а произведения переданы на хранение в Государственный Русский музей и вернулись в московскую мастерскую лишь в 1975 году, когда музей был восстановлен. В 1986 году фонды мемориального музея вошли в состав Третьяковской галереи.