Dienstfahrten mit Privat PKW

Hallo, ich habe eine Frage zu dem Thema Dienstfahrten mit dem Privat PKW.
Ich muss recht häufig mit meinem privat PKW Fahrten auf unserem sehr großen Dienstgelände durchführen. Dafür gewährt mir der Arbeitgeber eine monatliche Pauschale, die auf den Arbeitslohn aufgeschlagen wird und auch voll versteuert wird. Im Fahrvertrag wurde noch aufgeführt, dass die km in der Steuererklärung als Werbungskosten geltend gemacht werden können.

Dies habe ich auch regelmäßig gemacht. Dieses Jahr wurde ich dann vom Finanzamt erstmalig aufgefordert, die gefahrenen km nachzuweisen. Da ich sie täglich notiert kein Problem. Zusätzlich habe ich noch eine Kopie des Fahrvertrags mitgeschickt. Ein Fehler wie sich jetzt herausstellte.
Im Steuerbescheid wurden jetzt die Fahrten auf dem Werksgelände mit dem PrivatPKW um die vom Arbeitgeber erstattete Pauschale gekürzt. Ist das so richtig, obwohl die Pauschale voll versteuert wurde? Ich dachte bisher, dass nur eine steuerfrei gezahlte Pauschale gegengerechnet werden muss.

Vielen Dank,

Alex