Simi adasındaki Bizans Kalesi aynı zamanda 14. yüzyılda Aziz John Şövalyeleri tarafından yaptırılan Şövalyeler Kalesi'nin yeriydi. Şövalyeler Kalesi, çoğu hala görülebilen Bizans Kalesi kalıntıları ile bir duvar paylaştı. Kale ayrıca, tepenin üstünde, Akropolis'i çevreleyen duvarı paylaşmaktadır.
Kale, ana girişin üzerindeki Aziz John Şövalyeleri'nin bir amblemini içerir ve Yukarı Şehir'in en yüksek noktasında bulunur. Bir taraftaki limana, diğer taraftaki küçük bir vadiye bakmaktadır ve tüm kentin yanı sıra Ege Denizi'nin de nefes kesici manzarasını sunmaktadır. Meryem Ana'ya (Kyra Panagia) adanmış küçük bir şapel de vardır. Bu şapel, kalenin en yüksek noktasını kaplar ve Horio ve Yialos kentlerinin muhteşem manzaralarını sunar.