Zřícenina hradu Kollmitz

Páni z Waldsee se poté soustředili na správu drosendorfského majetku a hrad Kollmitz se po roce 1340 dostává do vlastnictví Fridrichovy dcery Kateřiny a jejího manžela Vikarta z Winkelu. Jejich synové ale majetek promrhali a roku 1362 hrad prodali Ratoldu Chratzerovi z Ofenu a jeho bratrům Šimonovi a Fridrichovi. V té době hradní pánové směli v zastoupení panovníka Rudolfa IV. vykonávat hrdelní soud nad poddanými z okolí. Tento stav netrval dlouho, protože již r. 1371 hrad koupili od Chratzerů bratři Jan a Fridrich páni z Thürnau. Jan hrad rozšířil o obytnou hranolovou věž při dolním konci paláce nad řekou a novou vstupní bránu, která je dnes vnitřní branou. A pak se opět objevují na scéně dluhy. Janovi synové Rudolf a Ludvík museli hrad zastavit Jiříku Folkenstorferovi. R. 1404 se objevuje další souvislost s dějinami Moravy. Rakouští šlechtici táhnou na Znojmo, neboť potřebují obsadit město a odstranit ze scény nenáviděného Suchého Čerta (Hynek I. z Kunštátu a Jevišovic), ale Jiřík se výpravy neúčastní. Byl totiž zajat Zikmundem Křižanovským na Jemnici a musel se draze vykoupit. Výprava, jak známo z dějin, nebyla pro Rakušany úspěšná, neboť v táboře obléhatelů vypukla epidemie úplavice, rakouský vévoda Albrecht IV. zemřel a Zikmund Lucemburský málem také.

Když pak vypukla domácí, tj. rakouská válka, Jiřík bojoval na straně vévody Leopolda IV. a spolu s pány z Thürnau se angažoval v záškodnictví proti stoupencům vévodova bratra Arnošta.

Zatímco v Čechách a na Moravě poměry eskalovaly, v Rakousku nastalo zklidnění a Kollmitz získává r. 1411  jako dědičné léno Jošt z Hofkirche. On a jeho následníci drží hrad přes 200 let a za tu dobu se jim podařilo stavbu proměnit v silnou pevnost. Dějiny rodu jsou velmi působivé, a to i ve vztahu k severnímu sousedovi. V letech 1425–1432 bránili Vavřinec II. a jeho syn Hanuš tuto část Rakous úspěšně proti husitským vpádům a po smrti krále a vévody Albrechta V. (1439) stáli za jeho nástupcem Fridrichem III. proti nárokům moravských sousedů Bítovských z Lichtenburka. Kollmitz ve válce odolal, nicméně Čechům, konkrétně Janovi z Cornštejna se alespoň  "podařilo" roku 1440 vypálit nedalekou tvrz Drosidl, kterou Hanuš z Hofkirche krátce před tím vyženil.

Poučeni zkušenostmi z válek rozšířili Hofkirchenové Kollmitz v 15. století o rozsáhlé předhradí s dělostřeleckými baštami a s tzv. Hladovou věží. Tehdy také vyrostla poměrně daleko na šíji Dyje v předpolí hradu tzv. Česká zeď. Byl to prozíravý počin, protože zeď fungovala jako ochrana hradu, když se Hofkirchenové po smrti Ladislava Pohrobka účastnili habsburských dynastických bojů (r. 1458), války proti Jiřímu z Poděbrad (r. 1468) a také války proti uherskému králi Matyáši Korvínovi (léta 1477–1485). Hanušův syn Vavřinec III. z Hofkirchenu dokonce do válek najímal i vojáky z Čech a stal se velmi oblíbeným u císaře Fridricha III. A to byl jen počátek kariéry pánů na hradě Kollmitz. Vavřincův syn Volf se stal rakouským komorníkem a maršálkem, vnuk Vilém I. přestoupil na protestantskou víru, bojoval proti Turkům v Uhrách a za císaře Maxmiliána II. byl předsedou dvorské válečnérady. Vilémův syn Volf II. po roce 1584 přestavěl hradní palác renesančně a rozšířil jej o jižní trakt s kaplí sv. Bartoloměje. Zastával také vlivné úřady u dvora, ale protože byl protestant, císař na něj zanevřel, takže zemřel zapomenut r. 1611 v Praze. Opuštěné panství přebírají dolnorakouské stavy, oddělily od něj větší část s Drosidlem a zbytek prodávají r. 1616 Jiřímu Schütterovi z Klingenberku. Jenže i on se záhy ukázal být protestantem, takže roku 1637 Chlumec opět mění vlastníka. Nový majitel, císařský rada Hanuš Schubhardt nechává hrad opravit a přestavět v obavách před tureckým útokem. Poslední z tohoto rodu Karel Ferdinand Schubhardt se dává na vojenskou kariéru a hrad r. 1693 prodává.