Beograd je od najstarijih vremena bio vojno utvrđenje. Na temeljima rimskog kastruma, Vizantinci su obnovili utvrđenje neposredno nakon hunskih invazija. Prema istoričaru Prokopiju, njegovom izgledu doprineo je sam Justinijan. Ipak, u nemirnim vremenima srednjeg veka, više puta je rušen i obnavljan, a u oštećenom stanju ga je ugarski kralj Sigismund dao srpskom despotu Stefanu.
Prema biografu Konstantinu Filozofu, briga za obnovu Beograda ostala je nesmanjena tokom čitave despota Stefana. Najviše pažnje pridavano je vojnoj infrastrukturi j, pa je grad bio opasan dvostrukim zidinama i dubokim jarkom u priobalnom području. Grad je imao više ulaznih tačaka; pokretni most i tri kapije (zapadna, južna i istočna). Istočna i južna kapija imale su stražarske kule i smatrale su se važnijim. Postojala je i Severna kapija prema donjem gradu. Gornji grad je pokrivao teritoriju na brdu, dok je donji grad pokrivao područje ravnice prema obalama reka, ali nema podataka o prostoru ondašnjeg grada.
Središte Gornjeg grada bio je Despotov dvor, a u njegovoj neposrednoj blizini nalazila se kula Nebojša. To je bio prostor u blizini Defterdarove kapije i česme Mehmed Paše Sokolovića. Druga važna lokacija Gornjeg grada bila je Despotova riznica, koja se najvjerovatnije nalazila u blizini dvora.
Donji grad je bio veliko gradsko naselje, sa kućama trgovaca, zanatlija i Beograđana. Bilo je crkava, a najznačajnija od njih je Crkva Vaznesenja. Smatra se da se nalazila na mestu gdje se danas nalazi crkva Ružica.
Od ostalih objekata izdvajaju se i bolnica i prihvatilište za strance. Pristanište je bilo na Dunavu, na severnom delu gde se nalazi kula Nebojša.
