Die ältesten Mauerteile der Burgruine sind im felsigen Gelände unmittelbar südöstlich des Bergfrieds situiert. Sie verweisen auf einen architektonisch anspruchslosen Kleinadelssitz aus den Jahrzehnten vor der Erstnennung von 1293. Die erhaltenen, in späteren Bauphasen überprägten Mauerreste nehmen eine Fläche von rund 10 x 20 m ein. Gegen Nordwesten ist eine schwache Schildmauer ausgebildet, die ehemals die anderen Außenmauern der Burg um zumindest eineinhalb Geschoße überragte. Dies lässt sich besonders gut an der Westmauer der Altburg ablesen. Sie zeigt im Anschluss an die Schildmauer vermauerte zinnenartige Strukturen, die darauf schließen lassen, dass sie ursprünglich nur eingeschoßig ausgeführt war. Es ist daher für die Anfänge des Herrschaftssitzes an eine Kombination von Holz- und Steinbebauung zu denken, wie sie auch für die nahe gelegene Burg Großau rekonstruiert werden kann. Für die hölzernen Bauteile bedeutete die Schildmauer im Bedrohungsfall einen wichtigen Schutz. Das Bruchsteinmauerwerk der Altburg zeigt teilweise noch lagige Tendenzen, wobei die Sorglosigkeit des Steinversatzes nicht unbedingt nur zeitspezifisch zu werten ist. Sie kann zudem mit dem geringen Anspruch des bescheidenen Adelssitzes begründet werden. Ein in der Schildmauer befindliches Rüstholz besaß zu wenig Jahrringe für eine sichere dendrochronologische Datierung. Die Errichtung der Altburg ist daher derzeit nur anhand der Mauertechnik zeitlich einzuordnen; diese legt eine Errichtung um 1260/1290 nahe.

Der Ausbau der kleinen Burg zu einem großen, repräsentativen Adelssitz fand in den Jahren um 1321 statt. Dieses genaue Baudatum verdanken wir der dendrochronologischen Beprobung von Wehrganghölzern des gotischen Bergfrieds. Als Bauherr des Bergfrieds lässt sich damit Heinrich von Wallsee-Drosendorf fassen. Der Bergfried wurde burgseitig an die ältere Schildmauer des Kleinadelssitzes angefügt. Mit seiner durch die exponierte Felslage betonten, beachtlichen Höhe von rund 25 m belegt er den hohen Anspruch und sozialen Status der Herren von Wallsee-Drosendorf. An baulichen Details sind unter anderem das gefaste Werksteingewände des rundbogigen Hocheingangs und die nachträglich vermauerten, gotischen Zinnen zu nennen. Das Erscheinungsbild des Bergfrieds prägte ehemals der unterhalb der Zinnen umlaufende, hölzerne Außenwehrgang, dessen Balken noch zahlreich im Mauerwerk sitzen. Der gleichen großen gotischen Bauphase wie der Bergfried sind die an ihn anschließende Schildmauer, der südlich an die Altburg des 13. Jahrhunderts angefügte große Wohnbau und die Reste einer weitläufigen Ringmauer mit weiteren randständigen Gebäuden zuzuweisen. Wie bei großen Bauunternehmungen üblich, lassen sich mehrere Bauetappen unterscheiden. Die polygonal geführte Schildmauer, die den Burgbereich gegen das überhöhende Gelände sichern sollte, steht über eine Baufuge an den Bergfried an. Nicht mehr erhalten ist die zugehörige Torbereich, der bereits um 1380/1410 durch einen neuen Torturm ersetzt wurde. Die heutigen Außenmauern der Kernburg gehen zumindest an der Basis noch teilweise auf die Zeit um 1320/1340 zurück. Wie geringe Mauerreste belegen, besaß der südliche Bereich der Kernburg bereits früh eine randständige Bebauung. Er lag deutlich tiefer als der große, saalartige Wohnbau, der an die Südseite der gotisch ausgebauten Altburg des 13. Jahrhunderts angestellt wurde. Von diesem wohl repräsentativsten gotischen Wohnbau der Burg ist vor allem das nachträglich eingewölbte Untergeschoß erhalten. Ein von Süden vom Burghof aus in dieses Untergeschoß führendes Rundbogenportal wurde bereits im 14. Jahrhundert durch Neubebauung verstellt.

1411 gelangte die Herrschaft an die Herren von Hofkirchen. Ihnen ist der großartige spätgotische Ausbau des 15. Jahrhunderts zu verdanken, der den Herrschaftssitz gegen die damals rasant fortschreitende Verbreitung und technische Weiterentwicklung von Feuerwaffen sichern sollte. Hervorzuheben ist die Anlage der spätgotischen Vorburg, die neben den wehrtechnischen Aspekten auch wirtschaftliche Funktionen erfüllen konnte. Dank dendrochronologischer Daten lässt sich ein entwickelter Baufortschritt bereits für die Zeit um bzw. nach 1450 unter dem Bauherrn Hans I. von Hofkirchen nachweisen. Nach Ausweis der baulichen Befunde begannen die Bauarbeiten mit der Errichtung des Hungerturms und der anschließenden westlichen Befestigungsmauer. Mit dieser ersten Bauetappe wurde das zukünftige Areal der Vorburg bereits definiert. Ein im Vorraum des Hungerturms verbautes Brett endet mit dem Jahrring von 1453. Planwechsel, wie das Vermauern von bereits ausgeführten Schießfenstern des Hungerturms oder das nachträgliche Ausbrechen einer Poterne in der westlichen Befestigungsmauer, zeigen einen komplexen Baufortschritt bzw. eine längere Bauzeit an. Gleiches gilt für das nachträgliche Ansetzen der Halbrondelle an der West- und Südseite. Der rondellartige äußere Torturm, der mit einer Zugbrücke ausgestattet war und ein mit Wappenresten versehenes Spitzbogentor besitzt, verzahnt gleichfalls erst mit dem Mauerwerk der zweiten Bauetappe. Auch in seinem Fall legt ein Balkenrest eine Bauzeit bald nach 1450 nahe. Erst zuletzt wurden Hungerturm und Schildmauer der Kernburg mit einer Befestigungsmauer, in die eine weitere Poterne integriert wurde, verbunden. Die Innenbebauung stand erst am Ende der spätgotischen Bautätigkeit im Bereich der Vorburg. Nördlich des Torwegs erfolgte erhöht die Errichtung eines kastenartigen Wirtschafts- und Speicherbaus, der mit einer Schmalseite an die westliche Befestigungsmauer angestellt wurde. Sein Obergeschoß war durch einen spitzbogigen Hocheingang erschlossen und herrschaftlich-repräsentativ in Szene gesetzt. Ein weiterer langgestreckter Wirtschaftsbau entstand an der südlichen Befestigungsmauer, die teilweise der Innenbebauung weichen musste. Dem gleichen bedeutenden Bauherrn – Hans I. von Hofkirchen – ist auch die Errichtung der rund 350 m nordwestlich der Burg situierten „Böhmischen Mauer“ zuzuschreiben. Sie verdient als eine im spätgotischen Burgenbau des Herzogtums Österreich einzigartige Vorbefestigung besondere Beachtung. Es handelt sich um eine rund 120 m lange Sperrmauer mit zinnenbekröntem Wehrgang, in die drei flankierende Schalentürme eingebunden sind. Der mittige Schalenturm besitzt als Torturm ein spitzbogiges Werksteingewände mit Vorrichtungen einer Zugbrücke. Wie bei der spätgotischen Vorburg sind die Bauarbeiten anhand der bautechnischen Details bereits um 1450/1470 anzusetzen. Mit der Errichtung der Vorburg dürften die ersten baulichen Veränderungen des gotischen Torturms der Kernburg einhergehen. Das einfache Torgewände wurde nachträglich mit einer zeitgemäßen Fase versehen. Bedeutende bauliche Eingriffe erfolgten zudem in den Jahrzehnten um 1500. Das Obergeschoß des Turms erhielt west- und südseitig zwei Flacherker, deren hoher repräsentativer Anspruch heute nur noch den aufwändig profilierten Kragsteinen zu entnehmen ist. Vermutlich erfolgte bereits damals die Abmauerung der Tordurchfahrt. Sie wurde durch eine südlich des Torturms errichtete Brückenkonstruktion ersetzt. Weitere Detailbefunde zeigen, dass unter anderem auch die gotischen Wohnbauten der Kernburg in der späten Gotik stilistisch und funktional adaptiert wurden. Den Zeitgenossen des beginnenden 16. Jahrhunderts präsentierte sich Kollmitz als repräsentativer und außergewöhnlich stark befestigter Herrschaftssitz.

Für die Jahre um 1590 kann eine weitere große Ausbauphase des Herrschaftssitzes belegt werden. Investiert wurde dabei auch in die Wehrhaftigkeit. Der Bauherr Wolfgang II. von Hofkirchen ließ unter anderem nach 1587 den Wehrgangbereich der westlichen Befestigungsmauer der Vorburg erneuern. Im Bereich der Kernburg sind zahlreiche Mauerreste der gleichen Bauphase erhalten, doch fällt heute vor allem der aufwändige Umbau des gotischen Wohnbaus auf. Er wurde im Sinne der Renaissance mit großen rechteckigen Fensteröffnungen und mit stuckierten Gewölben ausgestattet. Seine feldseitige Außenmauer erhielt als Zitat der zeitgenössischen Festungsarchitektur eine gemauerte Böschung mit rundem Kordongesims. Ein dendrochronologisch beprobtes Ankerholz des Wohnbaus datiert die Bauarbeiten in die Jahre um 1590.
Im 17. Jahrhundert mussten im Bereich der südlichen Kernburg schwere Bauschäden repariert werden. Hervorzuheben ist der aufwändige Neubau jener hohen Außenmauer, die den südlichsten Teil der Kernburg gegen Norden schützt. Sie lässt teilweise wiederverwendetes Baumaterial der Renaissance erkennen. Ein zur Stabilisierung der Mauer eingefügter Eichenbalken endet – ohne Splint – mit dem Jahrring von 1628. Als Bauherr kann daher Hans Schubhardt angenommen werden, der die Herrschaft 1637 erwarb und ab 1642 als freies Eigen besaß. Der Wiederaufbau der Außenmauer war Teil eines umfassenden Bauprogramms, das unter anderem die weitgehende Erneuerung der Bebauung an der Südseite der Kernburg beinhaltete und zu einer deutlichen Verkleinerung der Hofflächen führte. Kennzeichnend für diese Bauphase ist die Gestaltung der Fassaden mit aufgemalten roten, gequaderten Kanten- und Kordonbändern; die vorgeritzten und gemalten Rahmungen der Architekturöffnungen waren gleichfalls rot gefasst. Da sich Reste dieser roten Fassadengliederung auch am Torturm und Wohnbau der Kernburg sowie am südlichen Wirtschaftstrakt der Vorburg erhalten haben, darf von einer vollständigen baulichen Erneuerung des Herrschaftssitzes ausgegangen werden. Das architektonische Ergebnis der Bemühungen von Hans Schubhardt ist durch den Kupferstich von Vischer (1672) überliefert. Allerdings befanden sich die Baulichkeiten damals bereits wieder in schlechtem Zustand.

Im Jahr 1693 erwarb das Kloster Pernegg die Herrschaft. Wie beachtliche Reste barocker Stuckdekorationen belegen, folgte auf diesen Kauf zunächst die hochwertige Neugestaltung von Innenräumen. Das Interesse am kostspieligen Erhalt des ausgedehnten Herrschaftssitzes ging aber bald verloren. Der 1703 abgebrannte obere Turm wurde bis zum Verkauf der Herrschaft 1708 nicht repariert. Dieser Verkauf bedeutete das Ende der baulichen Investitionen und die Burg geriet in Verfall. Köpp von Felsenthal zeichnete Kollmitz 1814 bereits als dachlose Ruine, mit starken Bäumen auf den Mauerkronen.