Im ersten Schritt wurde der Siedlungsplatz auf der Spitze des Nasenrückens im Norden vom übrigen Terrain durch die Anlage eines Halsgrabens abgetrennt. Von der Bega wurde dann ein Flutgraben abgezweigt und um den Siedlungsplatzes herumgeleitet.

Den Aushub verwendete man zum Niveauausgleich des Baugrundes: Lehm, Kies und Humus sind feststellbar in einer Stärke von 1,00–1,20 m. Die Aufschüttung wird von den Archäologen auf das 12.–13. Jh. datiert: Unter der künstlichen Aufschüttung fanden sie graue Irdenware aus der Zeit um 1200.

Ausgrabungen belegen, dass eine doppelschalige Schildmauer, vermutlich mit Wehrgang und Schiessscharten, das Terrain nach Norden sicherte.

Eine Ringmauer umschloss die Burg. Südwestlich konnte 1998 der archäologische Nachweis einer Vorburg erbracht werden, jedoch ohne deren Gesamtausdehnung ergraben zu können. Wie üblich wird die innere Bebauung von Haupt- und Vorburg aus Holz- bzw. Fachwerkhäusern bestanden haben.

Dieser ersten nachweisbaren Bauphase folgten Anfang des 14. Jh.s Erweiterungs- und Umbaumaßnahmen, die vermutlich im Zusammenhang mit der Absicht Simon I. standen, Brake zum Mittelpunkt seiner Landesherrschaft zu entwickeln. Die Umbaumaßnahmen betrafen die Nordmauer und die Nord-West-Ecke, in der ein Turm von 12 m Durchmesser entstand. Ferner wurden die Ostmauer erneuert und ein Südflügel errichtet. Entlang der Ostmauer entstanden Fachwerkhäuser.

In diese Bauphase fällt die erste urkundliche Erwähnung des "castro brac": Hier übertrug der "Edle Herr zur Lippe" am 30. März 1306 den Augustinerinnen aus Lahde "…den Zehnten, den einen in Biest den anderen in Brac neben den Mauern der Stadt Lemgo…" (Süvern 1960, S. 17).

Die das Schloss heute noch prägende dritte Bauphase beginnt im frühen 16. Jh. und gipfelt im Ausbau zur repräsentativen Residenz.

1570 bezog die verwitwete Katharina von Waldeck die Burg Brake und beauftragte den Lemgoer Baumeister Hermann Wulff mit dem zeitgemäßen Umbau des mittelalterlichen Wohn- und Saalbaus (Südflügel). Sie ließ ein neues Torhaus errichten, ein Warmhaus für exotische Pflanzen südlich der Burg und eine Hofschmiede in der nördlichen Vorburg.

Nach dem Tod der Mutter 1583 führte Graf Simon VI. die Modernisierungsmaßnahmen an der Burg Brake weiter, und ließ sie zu einem repräsentativen Renaissanceschloss ausbauen. Für ihn schuf Hermann Wulff den prächtigen Nordflügel mit Festsaal, der über die moderne geradläufige Treppe des neuen, siebengeschossigen Turms erreichbar wurde. Der Turm nahm die Stelle des alten Bergfrieds ein. Er ließ den repräsentativen Nordflügel an Stelle der alten Nordmauer und den siebengeschossigen Turm mit moderner geradläufiger Treppe an Stelle des Bergfrieds von Hermann Wulff erbauen. Zwei Bastionsbauten an der Nordost- und Nordwestecke, eine neue Schlossbrücke – das "hohe Haus" im Westen, davor die "Gänsebrust", der Lustgarten nördlich des Schlosses, in klusive Gärtnerhaus, Wärmehaus, Pikierhaus (= Gewächshaus), Lusthaus, Wasserkunst (= Brunnenanlage) und Ballhaus entstanden. Der Renaissance-Garten war vom unteren Saal aus über eine gedeckte Holzbrücke erreichbar. Simon VI. ließ auch die Vorburg umgestalten: Es entstanden ein neues Vorwerk, ein Schweinehaus, ein Wagenhaus, je ein großes und kleines Dreschhaus, ein Hundehaus und ein Waschhof. Der Haupteingang an der Nordwestecke der Vorburg erhielt 1591 ein neues Torhaus mit Zugbrücke. Vor dem Torhaus wurden Wälle aufgeworfen und die Uferbereiche der Bega so umgeformt, dass der Eindruck einer Befestigung mit Rundbastionen entstand.

Der Enkel Simon VI. Graf Casimir ließ den Ostflügel vergrößern, weshalb der östliche Graben teilweise verfüllt werden musste, und veranlasste weitere bauliche Maßnahmen. Die Anlage eines Barockgartens im Norden des Schlosses war die tiefgreifendste Veränderung während seiner Regierungszeit: Die Gartenbauarbeit übernahmen Arend Otto und Sohn Johann Nevelin.

Eine letzte nennenswerte Bauphase initiierte der der Linie Lippe-Detmold entstammende Graf Friedrich Adolph, der nach dem Aussterben der Braker Linie den Sitz Brake übernahm: Er barockisierte ab 1710 den Festsaal im Nordflügel. Danach diente Schloss Brake dem lippischen Fürstenhaus als Witwensitz. Damit einher ging der stetige Verfall der Gebäude: Die geschweifte Haube des Turmes wurde durch ein einfaches Zeltdach ersetzt, die Giebelspitzen am Nordflügel wurden abgebrochen, ebenso die Zwerchhäuser; der Dachstuhl wurde abgesenkt. Die Bastionen wurden abgerissen sowie der Westflügel mit dem Torhaus. Der Südflügel erhielt einen niedrigeren Dachstuhl.

1805 wurde Schloss Brake als Wohnsitz aufgegeben und das verbliebene Inventar versteigert.