Kivikindlus endise eestlaste kantsi kohale hakkas kerkima 1224. aastal.
Oma täieliku kuju ja suuruse sai linnus 16. sajandi alguseks, olles silmapaistvamaid Eesti ja Läti aladel. Rootsi, Poola ja Venemaa vaheliste sõdade tõttu on võimsast ordulinnusest tänaseks vaid mõni kivisein püsti jäänud.
Linnuse varemed ja selle ümber olev park kujunes viljandlastele puhkealaks juba eelmise sajandi alguses. Et linnast Lossimägedesse pääseda, paigutati 1931. aastal Kaevumäelt üle 13 meetri sügavuse kraavi rippsild.
Varemetelt avaneb kaunis vaade Viljandi järvele.