Понад шість століть пройшло з того часу, коли виник на високому пагорбі в Олеську замок. Сталося це у важкий період розпаду Київської Русі на окремі удільні князівства і захоплення її території зовнішніми ворогами.
Перша письмова згадка про Олеський замок датується 1327 роком. Ця дата дозволяє допустити, що замок побудував один з синів Галицько-Волинського Юрія Львовича — Андрій або Лев.
Пагорб, на якому побудували замок, був основою укріплення. Нижче, по схилу гори, кільцем проходив вал з частоколом, а далі — ще одна лінія оборони — вал з водяним ровом. Пагорб оточувала заболочена непрохідна рівнинна територія. На вершині пагорба була побудована фортечна, овальна у плані стіна, близько 130 метрів по периметру.
На початку XIX століття провели реконструкцію лівої частини замку. Тоді знесли завершення великої башти, і висота будівлі вирівнялася. Після цієї реконструкції почався період повільного, але упевненого руйнування будови. Особливо значні пошкодження воно отримало в січні 1838 року під час землетрусу.
Власники замку перестали піклуватися про його збереження, а після того, як в одній з кімнат був знайдений скарб, і зовсім прискорили його руйнування. Почалися гарячкові пошуки інших коштовностей: розбивалися стіни з розписами, знімалась підлога, розбиралися каміни. У 1875 році завалився 42-метровий замковий колодязь, яким користувалися ще з XV століття. На кінець XIX століття Одеський замок перетворився на руїни.
У радянські часи замок від реставрували. У ньому були створені музей-заповідник «Олеський замок» і відділ Львівської картинної галереї. У галереї зібрано понад п’ятисот творів живопису, скульптури, декоративно-прикладного мистецтва Західної України Х-ХУПІ століть.
Поряд із замком збереглися спорудження монастиря капуцинів, який побудували в 1737 році за проектом архітектора Мартина Добравського. Це класичний барочний комплекс будівель, композиційним ядром якого є костьол. З півдня до нього примикає корпус монастиря з келіями на першому і другому поверхах і замкнутим внутрішнім двором. Монастирський двір оточений стіною триметрової висоти (З довідника; 203 сл.).