Nutzungsrecht hebt Schenkung auf?

Folgende Situation:
Meine Eltern schenkten 1978 meinem Bruder und mir (je zur Hälfte) ihr Grundstück mit Haus. 1981 wurde von mir das Haus aufgestockt und es wurde mit meinem Bruder vereinbart, dass ich das alleinige Nutzungsrecht im 1sten Stock habe und er im Erdgeschoß. Im Erdgeschoß befinden sich 2 Wohnungen. Eine bewohnt mein Bruder und in der anderen hatten unsere Eltern lebenslanges Wohnrecht.
Jetzt sind unsere Eltern Tod. Und mein Bruder bzw der Notar sagen mir, dass ich meine Haushälfte vom Erdgeschoß, die ich 1978 geschenkt bekommen habe von meinen Eltern- mit dem Nutzungsrechtsvertrages vom 1981 an meinem Bruder verschenkt habe und daher keinen Erbanspruch habe.
Stimmt das?
Danke im Voraus

P.s. ich lebe in Österreich