Grunderwerbsteuer auf Grundstück und Haus, trotz Bauträgerfreiheit?

Hi zusammen,
ich habe ein Grundstück erworben, Bauträgerfrei und erschlossen, vermessen.
Nun ist bei der Suche eines Bauträgers der Immobilienmakler, der mir das Grundstück verkauft hat, auch in der Lage für mich ein Schlüsselfertiges Konzept zu erstellen und mir ein Haus bauen zu lassen.
Ich bin also nicht gebunden mit ihm zu bauen, habe andere Angebote und die Kaufabwicklung ist 4 Wochen her. Auch beim Notar gab es keine verpflichtenden Angaben zu dem was ich oder wie ich bauen soll.
Meine Frage nun: Wird das Finanzamt auf mich zugehen und Grunderwerbsteuer auf das Haus einfordern, wenn ich nun mit selbigem baue? Oder ist die Vertragsfreiheit hier ausreichend.
Würde das Finanzamt hier überhaupt informiert werden? Notar gibt es in meinem Fall ja nur bei Grundstückskauf, der Rest ist ja "nur" eine Beauftragung.
Danke für eure Hilfe!
Gruß
Genna