Grenzmauer zusammen mit Nachbar höher als 1,50m in BW bauen möglich?

Hallo zusammen,
Dies ist meine erste Frage in dem Forum und ich hoffe alles relevante anzugeben.
Wie sich das gehört habe ich schon viel gelesen, aber noch nix 100% zu meiner Fragestellung gefunden.

Hier die Rahmendaten:
Eckgrundstück in Baden-Württemberg,
Neubaugebiet mit Bebauungsplan. Der regelt aber nur die Höhe und Beschaffenheit der Einfriedungen zu öffentlichen Straßen. Einfriedungen zum Nachbar regelt daher das Nachbarschaftsrecht. So hat mir das auch der Bauamtsleiter meiner Ortschaft gesagt.

Mein Nachbar und ich wollen auf der Grenze eine Mauer errichten.
Wir wollen das ganze zusammen machen und sind uns auch in allem einig.
Plan ist, direkt auf der Grenze eine möglichst 1,80m hohe Mauer aus Stein mit Betonfundament- und Gurt zu errichten.
Wir wollen uns die Baukosten für die Rohmauer teilen und jeder verputzt seine Seite selbst.
Da unsere Grundstücke jetzt nicht die größten sind, wollen wir keinen Platz durch Abstand von der Grenze verlieren. Daher auch direkt auf der Grenze.

Da man ja nie weiß, was in Zukunft passiert (einer muss verkaufen, Vererbung,…), wollen wir auch eine Dienstbarkeit bei uns beiden ins Grundbuch schreiben.
Nach Beratung vom Notar mit folgendem Text (sinngemäß):
Gegenseitige Duldung der Mauer des anderen und gemeinsame Instandhaltung.
Den genauen Text will Notar erst erarbeiten, wenn wir Auftrag erteilen.

Soweit sind wir nun schon, und ich hoffe am bisherigen Vorgehen ist soweit nichts auszusetzen, bzw. irgendein grober Schnitzer drin.

Nun aber der Knackpunkt, den mir bisher keiner ganz erhellend sicher beantworten kann:
Nach dem Nachbarschaftsrecht dürften wir ja auf/an der Grenze "nur" eine Mauer mit 1,50m errichten. Erst mit Grenzabstand wäre mehr möglich. Wir würden aber eben gern 1,80m hoch bauen.
Ein Nachbar (1), 4 Häuser weiter, wollte auch direkt an der Grenze höher bauen und hat das auch einfach gemacht ohne den angrenzen Nachbarn (2) zu fragen. Das Grundstück neben ihm hatte zwar einen Eigentümer(2), der aber erst in ein paar Jahren bauen wird und daher auch nicht so oft vorbeischaut. Dieser bemerkte dann aber, nach Fertigstellung der Rohmauer, das 1,50m deutlich überschritten wurden und hat verständlicherweise Einspruch eingelegt.
Der Nachbar (1) musste daraufhin Rückbauen und hat nun eine 1,50m hohe Mauer.

Jetzt aber wieder zu mir.
Der gesunde Menschenverstand impliziert mir, dass wenn ich und mein Nachbar uns einig sind, es ja eigentlich möglich sein sollte, die 1,80m zu bauen. Wer außer meinem direkten Nachbar und mir sollte sich sonst an der Höhe der Mauer stören?
Könnte ein anderer Nachbar, der an einer anderen Seite an eines unserer Grundstücke grenzt, oder sogar ein paar Häuser weiter ohne direkten Kontakt, ein Veto einlegen?
Juckt das die Gemeinde oder die Baubehörde, wenn selbstverständlich statisch und Brandschutztechnisch alles eingehalten wird?
Ich kann mir nicht vorstellen, dass es unmöglich sein soll, nicht über die Höhe aus dem Nachbarschaftsrecht hinauszugehen, wenn wir uns einig sind und das auch schriftlich festhalten wollen.
Aber wer bestätigt mir das? Bauamtsleiter verweist auf die Obere Baubehörde, die verweist auf das Nachbarschaftsrecht. Und da steht nix außer den 1,50m. Der Notar wusste auch erst mal nicht, ob man auch die Höhe der Mauer als Dienstbarkeit eintragen kann und das dann auch Bestand hat.

So, wurde jetzt doch ein längerer Post, aber lieber ein Detail mehr als 100 Nachfragen.
Ich hoffe einer von euch hatte schon mal was ähnliches an der Backe und kann Licht ins Dunkle bringen.Oder wir haben Tomaten auf den Augen und einen Paragrafen noch nicht entdeckt, der einfach sagt:
Ihr seid euch einig, dann macht mal!
Vielen Dank schon mal für die Aufmerksamkeit bis hierhin.