Музей был открыт в 1869 г. по инициативе участников обороны Севастополя в Восточной (Крымской) войне. 25 лет экспозиция располагалась в доме генерала Эдуарда Тотлебена. В 1895 г. для музея было построено специальное здание, которое и сегодня является одним из красивейших в Севастополе. Автором проекта был известный петербургский архитектор Александр Кочетов. За 140 лет существования музей превратился в подлинную сокровищницу боевых реликвий, отражающих все этапы развития Черноморского флота, с момента его основания и до сегодняшних дней.