Die ersten Informationen über die Festung auf dem Schlossberg (Martinsberg), stammen aus dem Jahre 1529, als die Stadt sich vorbereitete einen Angriff der Truppen des moldauischen Wojewoden Petru Rareş abzuwehren.
Mitte des XVI. Jahrhunderts, nach der Einführung der Militärkontrolle durch die Truppen des Habsburgischen Kaiserreichs in Siebenbürgen, stieg die Rolle der Kleinen Festung im Rahmen des Verteidigungssystems der Stadt. Zwischen 1553-1554 entwickelten die vom Grafen de Arco, koordinierten Arbeiten den älteren zentralen Teil, an den er Artillerietürme anbaute. Die Verteidigungseinrichtungen der ersten Bauetappen, wie zum Beispiel die Schießscharten mit aufgeweiteten Schußlöchern, wurden durch die späteren Eingriffe verschlossen, wobei aber die hölzernen Verteidigungsgallerien des Innenhofs erhalten geblieben sind.
Im Jahre 1630, während der Zeit des Bürgermeisters Cristel Hirscher, wurde der Bau der äußeren basteiförmigen Ziegelfestung abgeschlossen. In der Mitte der südöstlichen Kurtine wurde der Torturm, versehen im oberen Teil mit Pechscharten und Schußlöchern in der Form eines umgekehrten Schlüssels, eingerichtet.
Anfang des XVIII. Jahrhunderts, wurde das ganze Ensemble mit Gräben und Erdwällen umgeben, während nach 1773 neue Ausweitungsarbeiten stattfanden als der sechseckige Turm und der Gebäudeteil mit zwei Stockwerken hinzukam, der teilweise die Bauwerke des „Schlosses” aus der Mitte des Ensembles einschließt. In den folgenden Jahrhunderten funktionierte die Kleine Festung als Gefängnis und nach 1851 gleichzeitig als Militärkaserne. Die Kleine Festung wurde in den Jahren 1773 und 1783 vom Kaiser Josef der II. und 1817 vom kaiserlichen Paar Franz und Karoline besucht. 
Zwischen den Jahren 1955 und 1975 befand sich hier das Staatsarchiv und 1981, nach einer umfassenden Restaurierung, wurde die Kleine Festung in einen touristischen Komplex mit mittelalterlicher Eigentümlichkeit umgewandelt.