Klausel in Baugenehmigung

Hallo, bei mir läuft gerade eine hitzige Diskussion über eine Klausel in der Baugenehmigung. Kurz zur Situation: Ich möchte im Außenbereich einen Ersatzbau durchführen, weil das alte Haus für uns alle zu klein ist und außerdem sehr baufällig, sodass eine Renovierung nicht rendiert. Die Baugenehmigung haben wir schon erhalten, Angebote sind auch da, allerdings stockt es gerade in der Finanzierung wegen folgender Klausel in der Baugenehmigung: "Der Ersatzbau darf nur vom Eigentümer mit Familie eigengenutzt werden, der bisher bereits den Altbau bewohnte."
Für meinen Kreiditgeber stellte sich nun die Frage der genauen Bedeutung dieser Klausel. NImmt man sie so hin, bedeutet das ja, dass niemals im Leben jemand anderes außer meine Famile dort mal leben darf und sollten wir somit nicht mehr den Kredit zahlen können, dann hat der Kreditgeber ein Haus, welches er an niemanden vermieten darf. Auch ich dürfte es ja nie vermieten, sollten meine Eltern mal sterben z. B.. Somit wäre eine Finanzierung für den Kreditgeber uninteressant. Deswegen möchte der Kreditgeber, dass die Klausel aus der Baugenehmigung genommen werden soll.
So, jetzt zum Landratsamt: Dieses behauptet, dass die Klausel eine Standartklausel ist, ohne welche kein Neubau im Außenbereich genehmigt wird und dass das jeder wisse, außer mein Kreditgeber. Aber sie können nicht bestätigen, dass das Gebäude später einmal veräußert werden darf, da sie sich dafür über dem Gesetz setzen müssten und das können sie nicht.
Was ich bisher über die Klausel gehört habe, bedeutet es nur, dass ich das Gebäude für mich und meine Familie zum Eigennutz bauen soll, damit im Außenbereich nicht wild rumgebaut wird. Aber, wenn jetzt in ein paar Jahren sagen wir mal, meine Eltern sterben, dann könnte das Landratsamt nichts dagegen tun, wenn ich die leerstehenden Räume vermieten würde (Etwaige Voraussetzungen, die ich dann zu dem Zeitpunkt als Vermieter erfüllen muss, mal außer Acht gelassen).
So eine Erklärung würde meinem Kreditgeber schon reichen, aber das Landratsamt weigert sich eben, das schriftlich zu bestätigen.
Wenn es geht, möchte ich einen Anwalt vermeiden, um Probleme im Bekanntenkreis, wo sich ein Anwalt befindet, ich ihm aber aus persönlichen Gründen nicht vertraue, zu verursachen.
Das ist halt gerade eine ziemiche Zwickmühle und ich weiß nicht mehr, was ich tun soll. Hat jemand Rat oder hatte schon mal jemand das gleiche Problem?