Erstmals 1232 nannte sich ein Besitzer der Burg "von Wartenberg". Die Wartenberger gehörten zum den Ministeriale der Abtei Fulda später auch dem Grafen von Ziegenhain als Vasallen. Die Wartenberger führten zwar kein großes, aber ein geordnetes Herrschaftsgebiet. Das Gebiet der Burg umfasste die Ortschaften Maar, Lauterbach, Heblos, Wallenrod, Sickendorf, Angersbach, Landenhausen und Salzschlirf. Mit anderen Adligen hatten sich die Wartenberger gegen ihren Lehensherrn Berthold von Leipolz empört (Siehe Ebersberg). Aus Chroniknachrichten ist bekannt, dass die Wartenberger aus diesem Grund niedergeschlagen worden sind. Berthold von Leipolz verrichtete mit seinen Leuten vollständige Arbeit. So ist bei Ausgrabungen festgestellt worden, dass die Burg durch Niederbrennen, Niederreißen, Zerschlagen und Plündern völlig zerstört wurde.

Friedrich von Wartenberg wurde in einem Schriftstück von 1232 erstmals erwähnt. Nach Friedrichs Tod bekamen die Söhne Dietrich und Heinrich das Erbgut und verwalteten den ganzen Familienbesitz. die Wartenberg verbündete sich 1252 mit dem Grafen von Ziegenhain. sie versprach dem Grafen, ihm im Kriegsfalle seine Burg zu öffnen und sie ihm als militärischen Stützpunkt zur Verfügung zu stellen. Wenn er, Heinrich, dem Grafen untreu würde, müsse er ihm die Hälfte von seinen drei Dörfern Maar, Esperot (heute Wüstungen) und Grebenau überlassen. Durch das Bündnis wurden die Wartenberger in die Fuldaer Stiftsfehde verwickelt. Infolge des Streits mit Fulda wurde die Burg 1265 von Abt Berthold von Leipolz zerstört. Daraufhin bekam das Dorf Lauterbach 1266 die Stadtrechte verliehen und die Wartenberger musste den aufgezwungenen Frieden hinnehmen. Sie verloren dadurch die Macht über ihren alten Herrschaftsbereich und durften die Burg nicht mehr aufbauen. Die Wartenberger mussten beim Bau der Burg in Lauterbach mitwirken und wurden dort als Burgmannen eingesetzt. 1278 heiratete Tabor von Eisenbach Mechthild, die Tochter Dietrichs von Wartenberg. Durch die Ehe erwarben die Eisenbacher den Mitbesitz an der Lauterbacher Vogtei als auch andere Rechte und Güter. Gegen den Widerstand der Eisenbacher verkaufte Heinrich und sein Sohn Friedrich die Hälfte der Lauterbacher Vogtei an das Stift Fulda. 1375 starb das Adelsgeschlecht von Wartenberg aus.