Grundstück Schenkung u. Hausbau -> Steuerfalle?

Guten Morgen,

mein Mann und ich wollen demnächst mit dem Bau beginnen.
Hierzu würde uns der Schwiegervater das Grundstück jeweils zur Hälfte schenken. Das Grundstück ist nicht viel wert, da noch nicht erschlossen, also wir sprechen hier von weit unter 20.000€.

Wir beide möchten gerne beide im Grundbuch stehen (das ist auch seitens des Mannes ausdrücklich gewünscht).

Da mein Mann vermögend ist, wird hauptsächlich er den Bau bezahlen. Das Vermögen war bereits während der Ehe vorhanden und ist nicht dem Zugewinn geschuldet.

Gibt das Probleme, insofern das Haus beispielsweise 1,5 Mio kostet.. da es dann auch auf meinem Grundstück steht, bedeutet das eine Schenkung? 1,5 Mio geteilt durch 2 = 750.000€ = 250.000€ über der Steuerfreigrenze?

Kann man sowas umgehen und falls ja, wie?