Здание музея напоминает восточный дворец. Построено в 1912 г. купцом Юдуфом Гелеловичем в псевдомавританском стиле. В 1921 г. здесь был открыт Музей старины, с 1933 г. ставший краеведческим. В музее экспонируется постоянная выставка «Мозаика древних культур», где представлены предметы декоративно-прикладного искусства периодов Античности, Средневековья и Нового времени. Перед музеем находится экспозиция каменных изваяний и археологические раскопки, накрытые стеклянной пирамидой.