La Porte du Despote (en serbe : Despotova kapija) et la tour Castellan - souvent appelée Porte Est de la ville haute - étaient l'entrée principale du château de Belgrade au Moyen Âge. Avec le mur nord-est, c'est le segment le mieux conservé des fortifications médiévales de la ville haute de la première moitié du XVe siècle lors de la rénovation sous le despote serbe Stefan Lazarevic, d'où lui vient son nom. Seule la Porte du Despote a été conservée dans sa forme originale à ce jour. Elle se compose d'un double mur avec deux entrées. La porte intérieure a un balcon défensif - le masikula. Au-dessous se trouve une niche pour une icône de Notre-Dame en tant que protectrice de la ville. À côté de la porte se trouve la tour carrée Castellan. Son nom vient du fait que le commandant de la forteresse y avait son siège au XVIIIe siècle.
La tour a été gravement endommagée lors du bombardement de Belgrade en 1915. Partiellement reconstruit en 1938, le seuil crénelé provient d'une rénovation à la fin des années 1970. La tour Castellan abrite aujourd'hui l'observatoire astronomique Rudjer Boskovic.