Памятник был сооружён в 1886 году по проекту Д.И.Гримма и обошёлся в 200 тыс. рублей. 12 октября 1886 года Триумфальный монумент открывал лично Император Александр III.
Памятник представлял собой 28-метровую колонну, сложенную из пяти рядов пушек, отбитых в войну у турок. На верху колонны был расположен гений с лавровым венком в протянутой руке, увенчивающий победителей. Пьедестал памятника имел высоту около 6½ метров, со всех четырех сторон которого были вделаны бронзовые доски с описаниями основных событий войны и названий воинских частей, принимавших в ней участие.
С двух сторон от памятника, по проспекту, стояли два столба из турецких пушек, вокруг Памятника же на отдельных гранитных пьедесталах стояли артиллерийские орудия, также захваченные у неприятеля.
В 1925 году произошло первое покушение на памятник, большевики предполагали заменить памятник на монумент декабристам.
В январе 1930 года мемориальный комплекс был разобран и позже переплавлен.
Это сделали по требованию новоявленного союзника -- Турции, которая сочла оскорбительным существование в "дружественном" СССР такого памятника.
В 1969 году на месте колонны установили монумент В.П.Стасову, архитектору собора. Его поставили к 200-летию со дня рождения зодчего (1769—1848). Это был бюст, установленный на длинный металлический постамент. Вокруг разбили сквер.
В 2004 году монумент архитектору перенесли в Музей городской скульптуры на временное хранение с целью установки на Троицкой площади воссозданного Памятника русской воинской славы.
Открытие последнего состоялось 1 октября 2005 года. Отливкой пушек занимался Новолипецкий металлургический комбинат.