Dankzij de strategische ligging werd Gramvoussa door de Venetianen tot vestingstad gemaakt. Ze maakten een vesting boven op een steile 137 m hoge rots.
De bouw van het kasteel van Gramvoussa ving aan in 1579 en duurde tot 1582. Het werd in 1588 echter verwoest, toen de bliksem insloeg in de kruidkamer. Het kasteel werd in 1630 herbouwd. Het was één van de drie kastelen die in Venetiaanse handen bleven tijdens de Turkse bezetting van Kreta.
Hoewel het kasteel onneembaar was, werd tijdens de Ventiaans-Turkse oorlog de Italiaanse commandant omgekocht door de Turken en gaf hij het kasteel in1692 aan de Turken in handen..
Tijdens de Griekse opstand tegen de Turken speelde Gramvoussa played een beslissende rol. Na vele pogingen werd het kasteel in 1825 uiteindelijk bezet door Kretenzische opstandelingen, toen een groep Kretenzers vermomd als Turken het kasteel binnen wist te komen. Gramvoussa was het stukje Kreta dat van de Turken bevrijd werd.
Het rotsachtige eiland werd een schuilgelegenheid voor meer dan 3000 mensen en een basis voor de revolutionaire operaties. Daarnaast was het echter ook een basis voor piraten, die ieder schip dat om het eiland kwam plunderden. Met instemming van de Griekse regering nam een Engels-Frans garnizoen het eiland Gramvoussa in 1828 over.
De hoge muren van de Gramvoussa zijn nog behouden, halfvervallen maar nog steeds imposant.
Tegenover het eiland of Gramvoussa ligt het mooie strand van Balos.
Het strand is bedekt met fijn wit zand en ligt tussen de twee kreken van de Tigani kaap. Hetzelfde witte zand ligt op de bodem van de zee en geeft deze een smaragdgroene kleur. Voor het strand ligt het pittoreske eiland van Gramvoussa en de achtergrond wordt gevormd door de Geroskinos berg (hoogte 762 m).
De weg van Kaliviani is een goed bestraatte zandweg, met verbazingwekkend mooie uitzichten naar de steile rotsige zeekust van de oostzijde van het schiereiland. De weg eindigt ongeveer één tot twee km voor het strand en de bezoeker kan een bestraatte weg naar Balos volgen.
