Die Hinnenburg thront über der Stadt Brakel. Im Ort saß ursprünglich ein Edelherrengeschlecht von Brakel, dass um 1230 hier eine Höhenburg errichtete. Im Unterschied zum alten Stammsitz wurde die Anlage „Hintere Burg“ genannt („Hinnenburg“). Noch im gleichen Jahrhundert erbte die Familie Asseburg den Besitz der Edelherren.

Im 17. Jahrhundert errichtete man ein dreiflügeliges Renaissanceschloss mit einer separaten Schlosskapelle. Im Barock passte man die Gebäude dem Zeitgeschmack an und errichtete einen der bedeutendsten westfälischen Barockgärten, der jedoch schon bald wieder verschwand.