Ungeziefer, fristlose Kündigung und keine Kaution.

Wir sind eine Junge Familie mit 2 Kindern (5J. und 4Monate altes Baby). Wir haben Nachmieter gefunden und sind umgezogen. Beginn des Mietverhältnisses der neuen Wohnung wurde zum 1.10. vertraglich festgelegt. Am 22.09. haben wir die Schlüssel bekommen um Renovierungen vorzunehmen und um Sauber zu machen. Als wir in die Wohnung rein sind mussten wir feststellen das das ganze Haus (200 Jahre altes 2-Familienhaus) von Kugelkäfern befallen ist (Im Flur in den Lampenschirmen haben wir jeweils über 100 tote Käfer entdeckt). Da diese Käfer Nachtaktiv sind und der Vermieter höchstwahrscheinlich kurz vor der Besichtigung noch gesaugt hat ist dies uns bei der Besichtigung nicht aufgefallen.
Zu dem kommt noch hinzu, das direkt unter dem Fenster in der Küche, der Kanal der Häuser drumherum zusammenläuft.
Der Vermieter hat uns den Ungezieferbefall verschwiegen.
Als wir Ihn dann nach paar Tagen darauf aufmerksam gemacht haben hat es geheißen: "Sind die schon wieder da, die haben wir doch bekämpft". Daraufhin wurde nochmal der Kammerjäger (ein bekannter vom Vermieter) beauftragt.
Gleichzeitig habe ich mich im Internet und bei einigen Fachleuten erkundigt und leider ist das bekämpfen dieser Käfer ist sehr langwierig (1-2jahre) man muss jeden Fehlboden und jeden Hohlraum in der Wohnung anbohren und mit den entsprechenden Mitteln bestäuben und die Wohnung benebeln und das wahrscheinlich nicht nur einmal im Jahr.
Da war mir dann klar wir müssen so schnell wie möglich wieder weg. Der Kammerjäger war da und hat hinter die Sockelleisten etwas gesprüht und auch er hat gesagt: "Richtig bekämpfen kann man das Ungeziefer nur wenn die Wohnung nicht bewohnt ist". Ich habe am 1.10. trotzdem die Miete überwiesen aber keine Kaution weil ich dieses Geld für die nächste Wohnung als Kaution aufgehoben habe. Ich habe zum Glück jetzt über einen Makler (1500€ Provision) eine Wohnung gefunden die wir ab 1.11. beziehen werden. Dem Vermieter haben wir mitgeteilt das wir jetzt demnächst ausziehen werden und als Antwort kam "Ihr müsst selber wissen was Ihr tut".

So die Frage ist jetzt wie sieht es rechtlich gesehen aus?
Das wir fristloses Kündigungsrecht haben ist mir schon bekannt aber was ist mit den ganzen Kosten die uns finanziell sehr weit nach hinten geschlagen haben nur weil der Vermieter verschwiegen hat das das Haus von Ungeziefer befallen ist?
Wir wären da niemals eingezogen.