Umsatzsteuer trotz Kleinunternehmen

Hallo
Ich hatte im Jahr 2011 3500€ Umsatz.
Heute kam ich habe für alle die Jahre nie umsatzsteuer Erklärungen eingereicht da ich davon ausging das die Voranmeldungen genügen.
Nun wurde ich von finanzamt darauf hingewiesen die Erklärungen einzureichen. 2015, 2014, 2013 sind erledigt und wurden auch akzeptiert . 2011 war ich wie gesagt kleinunternehmer und hatte 3500 Umsatz. 2012 hatte ich 90 000 Umsatz der nicht zu erwarten war und erst in der zweiten Jahres Hälfte statt fand. Dies habe ich dem Finanzamt auch so mitgeteilt und ab 2013 war ich umsatzsteuerpflichtig und habe auch immer fristgerecht die Voranmeldungen eingereicht.
Nun hat das Finanzamt auf nein schreiben nicht reagiert und stattdessen kam nun die Forderung das ich knapp 20 000 umsatzsteuer nachzahlen soll. Es wurde ohne Steuererklärung nur der reine Umsatz zur Berechnung genommen. So als hätte ich keine Ausgaben gehabt und 90 000€ reinen Gewinn.
Was kann ich jetzt machen und ist es richtig das ich ab 2012 kein kleinunternehmer war trotz unvorhersehbaren rasanten umsatzanstieg im Jahr 2012?