При устройстве Ставропольской крепости требовалось обезопасить подходы к ней, прежде всего с юго-западной и восточной стороны. Для этого был вырублен подступавший к стенам и рвам лес. Об этом свидетельствуют воспоминания 75-летнего хоперского казака, записанные в 1830 году краеведом И.В. Бентковским: «Там, где теперь улица Армянская, была просека через лес. По ней ходили мы по воду из крепости... Около теперешней Армянской церкви было озеро из родников, текущих с горы. Бывало, из станицы в крепость без ружья не выходили, а из крепости за вал оплошно не показывать носа...»

Упоминаемый казаком родник, к которому они ходили за водой, находился выше сегодняшнего памятника А.С. Пушкину. Просека к роднику начиналась от восточных крепостных ворот, проходила до родника и тянулась далее по склону горы, где и возникла позже улица Армянская, до казачьей станицы.

Как юго-западный, так и восточный склон Крепостной горы были вскоре очищены от деревьев. Но шло время, крепость теряла свое значение оборонительного укрепления, став огромным интендантским складом.

В 1847 году на восточной части Крепостной горы был построен новый кафедральный собор в честь иконы Казанской Божией Матери. Подход к собору был по проложенной дороге с западной стороны, где позже возникла Соборная улица (сегодня ул. Суворова). Позже местные власти задумали подвести к собору с южной стороны парадную лестницу, которая и была устроена в канун приезда в Ставрополь цесаревича Александра, будущего императора Александра П.

Парадная лестница стала как бы прологом к рождению на южном склоне теперь уже Соборной, или Кафедральной горы нового городского парка. И инициатором этого стал князь М.С. Воронцов. Ставропольский губернатор А.А. Волоцкой, в ответ на желание Воронцова, поручает городскому садовнику Александру Полянскому соста вить проект парка с последующей его закладкой по обе стороны Парадной лестницы. В ответ Полянский писал губернатору: «Ваше превосходительство изволили объявить мне желание наместника Кавказа, чтобы Соборная гора была обсажена разного рода деревьями и в пристойных местах прорезана дорожками. Но для этого нужны средства...» Вскоре последовал ответ: «Отпустить в нынешнем году на устройство сада в Ставрополе близ Казанской церкви сто тридцать руб. из остатка прошлого года».

К этому времени новым наместником Кавказа становится герой Кавказской войны, генерал-фельдмаршал, князь А.И. Барятинский (1815-1879), пленивший в дагестанском ауле Гуниб предводителя горцев Шамиля. В 1859 году он посетил Ставрополь, где был восторженно принят его жителями. Местные власти во главе с губернатором П.А. Брянчаниновым испросили у него разрешения в память побед русского оружия на Кавказе 1-ю Солдатскую улицу (сегодня ул. Комсомольская) и заложенный на Соборной горе парк именовать его именем, на что получили согласие.

Вскоре к реконструкции парка им. Барятинского были привлечены известный ставропольский архитектор П.Г. Воскресенский и садовник П.Н. Нечмиров. Были развернуты масштабные работы и вложены большие средства. Высажены сотни дубов, кленов и акаций. Но Барятинский парк так и не смог составить конкуренции Воронцовской роще.

В 1874 году в городской Думе вновь звучат призывы: «Для приведения в благовидное положение парка князя Барятинского, чтобы он представлял удобное место для гуляния, есть необходимость произвести посадку молодых деревьев - клена, ясеня, липы, карагача, бука - всего 1500 штук». Деревья эти были высажены уже садовником Константином Стасенковым.

Лишь к 1886 году Барятинский парк предстал во всем своем благоухании и блеске. Сочная зелень разросшихся деревьев обрамлялась белокаменной оградой с пирами-дальными воротами, откуда начиналась Соборная лестница. Сам Казанский собор с величественной звонницей, казалось, парил над зеленым куполом Соборной горы.

В центре Барятинского парка на склоне горы была устроена поперечная аллея. Хотя парк не стал местом массового отдыха горожан, он был излюбленным уголком города для уединенных прогулок. Усилиями городского головы Петра Розанова в начале 1890-х годов парк был отделен от площади каменной стеной. Один из составов гласных Думы предлагал перенести на территорию сквера аварийное здание Думы и часть деревьев вырубить. К счастью для разумно мыслящих горожан, этого не случилось. В советское время парк был сначала заброшен. Затем он сильно пострадал во время Великой Отечественной войны. Еще в предвоенные годы район стал именоваться Комсомольской горкой. Переименование было закреплено поэтапным снесением собора и колокольни.

В 1951 году началось озеленение верхней части парка. В 1953-1954 годах по проекту архитектора Г.Ф. Буткевича была реконструирована старая парадная лестница. Вдоль лестницы были высажены голубые ели из Перкальского питомника города Пятигорска. На присоединенной к парку нижней части территории некогда Думской площади разбиты клумбы и проложены аллеи со скульптурными изваяниями Венеры и других мифологических персонажей. Установлен памятник И.В. Сталину. Позднее он был убран.

Затем в 1967 году здесь вспыхнул огонь у памятника Вечной Славы, а на склонах горы произведены новые посадки елей, берез, ив, кустарника.

Однако логично было бы вернуть этому месту его историческое наименование - парк героя Кавказской войны князя А.И. Барятинского, как и площади на вершине Крепостной горы - Соборная. И важно относиться к этому парку как к «драгоценному достоянию прошлого» (Г.Н. Прозрителев).