Private Dienstbarkeit Hausanschluss Strom

Hallo, ich hoffe das mich hier jemand beruhigen kann, aus dem Grunde wende ich mich an Euch. Vor einigen Jahren haben wir ein Wochenendgrundstück aus einer ehemaligen Kleingartenanlage erworben. Es wurde ein eigenes Flurstück daraus gemacht. Da Strom und Wasser anliegen wurden auch alle Dienstbarkeiten eingetragen.
Unser immer wiederkehrendes Problem, auf unserem Grundstück befindet sich der Hausanschlusskasten mit Zählern usw für 3 Nachbargrundstücke.
Im Grundbuch bzw Kaufvertrag wurde eine befristete private Dienstbarkeit für den Kasten vereinbart. Die 3 Nachbarn die noch Strom daraus beziehen sind Pächter die kein Geld für eigene Hausanschlüsse in die Hand nehmen wollen. Nun wollte ich den Rückbau beantragen und nun wurde uns vom Netzbetreiber gesagt, dass Anschlussnehmer und Grundstückseigentümer dem Rückbau des Kastens zustimmen müssen?! Das machen die natürlich nicht....
Wir haben schon vor Jahren einen eigenen Anschluss installieren lassen, wie auch die Nachbarn die ebenfalls gekauft haben.
Wir dachten durch den Eintrag der befristeten privaten Dienstbarkeit für die Nutzung des Kasten wäre das geklärt und wir können den nach Ablauf der Frist abreißen und der Stromversorger kümmert sich um seine Zähler sowie die Anschlüsse. Dem Strombetreiber ist diese Dienstbarkeit allerdings egal. Lt. Aussage sind solche Dienstbarkeiten privatrechtliche Dinge, die den nichts angehen.
Wir wollen diesen Kasten aber unbedingt loswerden... Zur Erklärung. Er steht nicht irgendwo an der Grundstücksgrenze, sondern wirklich auf unserem Grundstück. Wenn bei den Nachbarn eine Sicherung rausfliegt oder Strom abgelesen werden muss sind die bei uns. Also alles in allem nervig und hässlich.
Da wir sicher nicht die ersten sind, die aus so einer Situation heraus ein Grundstück erworben haben, hoffe ich auf Erfahrungen oder sehr gern auch auf rechtliche Infos.
Uns wurde jetzt schon gesagt, dass so eine private Dienstbarkeit zwar ganz nett ist, aber die Durchsetzung bei streitbaren Nachbarn meist nur anwaltarisch zu klären ist... Ich hoffe das stimmt nicht.
In jedem Fall danke ich schon mal vorab...
LG Grummel