Aufhebung meines Steuerbescheides

hallo, mir ist folgendes passiert ich lebte seit 11.11.03 im Trennungsjahr,seit 1.1.04 habe ich Steuerklasse 1,am 4.11.04 dann die Scheidung, am April 05 habe ich Einkommensteuer gemacht Anlage U lag unterschrieben seit April 04 vor.
dann bekam ich den Steuerbescheid mit einer Rückzahlung von 6400€.Soweit alles OK aber jetzt bekam ich einen Brie vom Finanzamt in dem steht das dieser Steuerbescheid aufgehoben wird da ich aus versehen noch mit meiner EX Frau veranlagt worden bin,(sehr witzig da ich klasse 1 angegeben habe und der mitarbeiter vom Fa alles mit mir zusammen überprüfte bevor ich die erklärung abgegeben habe.)jetzt schickte mir das Fa einen neuen Steuerbescheid zu angeblich den richtigen über eine Höhe von 2500€ zu meinen Gunsten.Nun soll ich den ersten Bescheid also 6400€ minus zweitem Bescheid 2500 nehmen und die Differenz zurückbezahlen! Frage muss ich das überhaupt zurückzahlen da der Fehler offensichtlich beim Fa liegt.Danke für alle Antworten.