Wyjątek w matematyce byłby wtedy, gdybyś powiedział coś na zasadzie. Matematyka działa wszędzie, ale jak chcesz obliczyć długość mojego prącia to już nie, wtedy źle działa.
Wtedy, gdyby tak było matematykę można by całą wyrzucić do kosza.
To co ty mówisz czyli dzielenie przez zero to nie wyjątek, to w zasadzie jedyna zasada wykonywania tych działań i ich definicja.
W matematyce dopuszcza się uproszczoną interpretację, to co mówił @spycenter i wtedy rzeczywiście wychodzą tak zwane wyjątki. Ale normalnie w matematyce czegoś takiego nie ma. Są pewne zasady, są ustalenia, np. kolejność działań. Ale zawsze się każdy musi trzymać tych zasad inaczej matematyka straciła by sens całkowicie i w całości od razu.