Muinaslinnus
ligikaudu 15-meetrise kõrguse. Lõunatiiva nurkades paiknesid saledad
neljatahulised tornid, mis ulatusid linnusemüüridest veel umbes kümne meetri
võrra kõrgemale.
Pealinnusest lõunasse piki Vallimäge püstitati veel pindalalt suur, kuid madalam
eeslinnus, mille müüride ääres paiknesid mitmed hooned. Linnuse sissepääs asus ta
idaküljel -- kagupoolse nurgatorni külje alla rajati väravaehitis koos seda kaitsnud
poolümara rondeeli ehk suurtükitorniga.
Linnusemäe idajalamile tekkis tõenäoliselt juba 13. sajandil alev, mis üsna pea
arenes väikeseks linnaks. 15.-16. sajandil oli linnas juba mitmeid esinduslikke
kivihooneidki. 16. sajandi algul rajati linnusest põhja poole lisaks veel
frantsisklaste klooster -- see kujutas endast arvatavasti kivist kaitseehitist hilisema
mõisa -- praeguse teatri -- kohal teisel pool Narva suunduvat teed.
Liivi sõjas langes Rakvere linnus koos linna ja ümbruskonnaga 1558. aastal ilma
lahinguteta venelaste kätte