Teilgrundstück "verloren"

Vor 25 Jahren haben wir gebaut. Damals stellten wir fest, dass der Nachbar seinen Zaun z.T. auf unserem Grundstück errichtet hat. Wir kamen überein, dass er den Zaun nicht zurückbauen muss, weil dieses mit erheblichen Kosten verbunden wäre ( Versetzen einer Alarmanlage, etc.) Nun kommt der Nachbar "in die Jahre" und hat sein Grundstück neu vermessen lassen, wahrscheinlich für einen möglichen Verkauf. Ich habe den Nachbarn angesprochen und dieser teilt mir mit, er habe jetzt den Grundstücksteil ersessen, soll heißen, ich hätte außer dem Eigentumsrecht keine weiteren Rechte mehr. Wir wollten aber, wenn er dann verkauft, den Käufer bitten, die Grenzen einzuhalten. Geht das so, oder ist jetzt Handlungsbedarf?