Здание панорамы находится в парковой зоне Исторического бульвара и доминирует над Корабельной и Южной сторонами города, хорошо видно при въезде в город с основных сухопутных и морских магистралей.
          В списке памятников, которые надлежало установить в городе к 50-летию первой обороны, была Панорама, посвященная героизму защитников города.
          В 1901 году комиссия по восстановлению памятников обороны предложила написать полотно художнику Ф. А. Рубо, прославившемуся уже написанием панорамы "Штурм аула Ахульго". Художник в середине октября приехал в Севастополь, объездил все бастионы, посетил музей обороны Севастополя и, получив согласие комиссии, принял на себя обязательства создать эскиз панорамы, показывающей штурм Малахова кургана 6 июня 1855 года.
          Ф. А. Рубо уже в январе 1902 года представил эскиз, а 5 февраля 1902 года был заключен контракт на выполнение живописного полотна панорамы высотой 14 м и длиной 115 м.
          Для работы над панорамой Ф. А. Рубо выехал в Мюнхен, где с помощью своих коллег, художников Шёнхена, Мерте и Фроша и 20 студентов Баварской Академии художеств около двух лет трудился над полотном. По договоренности с Великим князем Александром Михайловичем, военным консультантом, на время работы над панорамой был выделен ученый секретарь комиссии по воссозданию памятников обороны Севастополя подполковник И. Н. Протопопов.
          Одновременно решался вопрос о строительстве здания для панорамы. Для строительства были предложены: архитектором Вейзеном - Малахов курган, на котором происходило событие, инженер-подполковником Смульским - Театральная площадь (ныне площадь Ушакова) и художником Рубо - Исторический бульвар, на месте 4-го бастиона. Решение было принято о строительстве здания панорамы на Историческом бульваре.
          Проектирование здания панорамы было передано Петербургской Императорской академии художеств, которая в марте 1902 года объявила конкурс. Из 15 представленных проектов был утвержден проект петербургского архитектора С. В. Беляева, получивший вторую премию. Три премированных проекта были отосланы в Севастополь с рекомендацией принять к производству проект архитектора С. В. Беляева.
          Однако, в Севастополе было предложено создать новые проекты, и в июне в Петербург были представлены проекты архитектора Вейзена и военных инженеров Смульского и Энберга, Николай II утвердил проект подполковника О. И. Энберга, в основе которого был проект архитектора С. В. Беляева, но с измененной формой кровли с конусообразной на куполообразную. Доработал архитектурное решение севастопольский архитектор В. А. Фельдман.
          В сентябре 1902 года на Историческом бульваре была произведена закладка здания панорамы, и под руководством О. И. Энберга оно было построено в 1904 году, а в августе того же года в нишах установлены 13 скульптурных портретов героев обороны, выполненных петербургским скульптором Поповым.
          Здание панорамы - цилиндрической формы, диаметром 38 м. построено в стиле модернизированного неоклассицизма. Круглая часть здания расчленена пилястрами-контрфорсами, поставленными на мощный цоколь. Вход акцентирован порталом с двумя дорическими колоннами. Слева и справа от портала пристроены павильоны с окнами. Над порталом - ризалит с двумя декоративными выступами по углам и геометрическим орнаментом на карнизе. Стены фасада имеют вертикальное членение в виде пилястр и горизонтальных тяг. Между пилястрами в средней части расположены эдикулы с фронтонами, украшенными стилизованными пальметтами. В них установлены мраморные бюсты.
          Круглая форма здания подчеркивается куполообразной крышей с венчающей ее ротондой. Высота здания 36 м.
          В мае 1904 года Ф. А. Рубо закончил писать картину и к 27 ноября картина и предметный план были смонтированы.
          13 мая 1905 года в присутствии ветеранов, обороны Севастополя, частей войск и командования флота и крепости панорама "Штурм 6 июня 1855 г." была освящена.
          По настоянию Николая II, в марте 1906 года полотно панорамы было снято, перевезено в Петербург и экспонировалось в павильоне на Марсовом поле. В освободившемся здании в Севастополе на Историческом бульваре по просьбе царя Ф. А. Рубо с бригадой художников реставрировал панораму "Штурм аула Ахульго". После реставрации она успешно экспонировалась в нашем городе, а в 1911 году панорама "Штурм 6 июня 1855 г." была возвращена и с перерывами экспонировалась до Великой Отечественной войны.
          Во время второй обороны Севастополя 26 июня 1942 года от разрыва фашистских бомб и снарядов здание панорамы было разрушено, полотно частично сгорело. 86 спасенных фрагментов полотна панорамы были вывезены на Кавказ на лидере эсминцев "Ташкент", а затем в Новосибирск и в Москву.
          В 1948 году правительством СССР было принято решение о воссоздании севастопольской панорамы. Творческий коллектив в составе 17 человек, возглавляемый академиком В. Н. Яковлевым, а затем академиком П. Л. Соколовым-Скаля, по сохранившимся фрагментам, авторским эскизам и фотографиям воссоздали полотно панорамы и предметный план.
          Автором проекта восстановления и реконструкции здания был архитектор В. Л. Петропавловский.
          1-6 октября 1954 года состоялось торжественное открытие панорамы "Оборона Севастополя 1854 - 1855 г.г.". А через двадцать лет, в эдикулах на фасаде, взамен утраченных, были установлены бюсты героев обороны, выполненные севастопольскими скульпторами Н. П. Петровой, Л. С. Омерчинским, В. В. Петренко и С. А. Чижом.