Kaufabsichtserklärung für Verkäufer bindend?

Wir sind Verkäufer eines Hauses (ohne Makler) und haben mit einem potenziellen Käufer eine Kaufabsichtserklärung abgeschlossen. Eine Frist oder eine "Vertragsstrafe" bei Nichtzustandekommen haben wir nicht formuliert. Man muss dazu sagen, dass es sich um ein altes, sanierungsbedürftiges Haus handelt, bei dem uns die Interessenten nicht gerade die Tür einrennen und wir froh sind einen ernsthaft interessierten Käufer gefunden zu haben.
Nun hält uns der potenzielle Käufer schon mehrere Wochen hin und führt mehrere Gründe auf weshalb es noch nicht zur Vertragsunterzeichnung kommen kann (keine Kreditzusage der Bank, Formulierungen im Vertragsentwurf die dem Käufer nicht gefallen). Aus diesen Gründen und weil wir befürchten, mit diesem Käufer im Nachhinein nur Probleme zu haben (so will er z.B. eine Zusage über das Nichtvorhandensein möglicher versteckter Mängel der Immobilie), wollen wir ihm das Haus nicht mehr verkaufen.
Können wir einfach von dieser beiderseitigen Absichtserklärung zurücktreten oder haben wir damit irgendwelche Konsequenzen zu befürchten, z.B. dass wir an ihn verkaufen müssen oder dass er uns mögliche ihm entstandene Kosten in Rechnung stellen kann?

Der Vollständigkeit halber hier noch der Inhalt der Absichtserklärung:
KAUFABSICHTSERKLÄRUNG
Käufer und Verkäufer beabsichtigen nach den folgenden Daten einen Immobilienkaufvertrag zu vereinbaren.
Verkäufer ...
Käufer ...
Immobilie ...
Kaufpreis in Euro:...
Fälligkeit am: gemäß Notarvertrag

-----------------
""