Was ist ein False Positive und was ist ein False Negative?
Kochen Sie gerne? Falls ja, hat ihr Brandmelder bestimmt auch schon einmal Alarm geschlagen, obwohl Sie in der Küche vielleicht nur ein bisschen zu viel Dampf erzeugt haben. Damit haben Sie dann nicht nur ein hoffentlich wohlschmeckendes Mahl gezaubert, sondern auch einen False Positive. Was False Positives und False Negatives für Ihre E-Mail-Sicherheit bedeuten, klären wir in diesem Blogartikel.
Ein False Positive ist das Ergebnis einer Überprüfung mit meist binärer Klassifikation, bei der fälschlicherweise (false) eine Übereinstimmung (positive) mit vorher definierten Kriterien festgestellt wird. Das Kriterium Rauchentwicklung wurde im obigen Beispiel erfüllt, allerdings in kontrollierter Umgebung und nicht als Symptom für einen drohenden Brand. Also Kommando zurück, Feuerlöscher bleibt im Schrank, Tisch decken. Schlimmer wäre im besagten Fall wohl ein False Negative, also ein Brandmelder, der stumm bleibt, obwohl in der Küche ein Feuer lodert.
Beispiele für False Positives und False Negatives gibt es viele, von ärztlichen Fehldiagnosen über Bewegungsmeldern, die von Katzen aktiviert werden, bis hin zu inkorrekten Corona- oder Schwangerschafts-Tests.
False Positive und False Negative bei E-Mail
Sprechen wir von E-Mail-Sicherheit, so kennen wir eine False Positive E-Mail als eine E-Mail, die zu Unrecht als Spam, Phishing-Versuch oder malwareverseucht erkannt wurde. Entsprechend ist eine False Negative E-Mail eine E-Mail, die nicht als solches erkannt wurde, obwohl sie es ist.
Was ist ein False Positive?
Ein False Positive ist ein Fehler bei der binären Klassifizierung, bei dem ein Testergebnis fälschlicherweise das Vorhandensein eines Zustands anzeigt, obwohl dieser nicht vorhanden ist.
Was ist ein False Negative?
Ein False Negative ist ein Fehler der binären Qualifizierung, bei dem das Testergebnis fälschlicherweise das Nichtvorhandensein eines Zustands anzeigt, obwohl dieser vorhanden ist.
Willkommen in der Wahrheitsmatrix
Wie bereits erwähnt, treten False Positives und False Negatives meist bei Überprüfungen mit binärer Klassifikation auf. Der Klassifikator ist dabei das Kriterium, anhand dessen das jeweilige Objekt in eine bestimmte Klasse eingeordnet wird.
Wie gut ein Klassifikator funktioniert, ist daran erkennbar, wie häufig Fehlklassifizierungen auftreten. Binäre Klassifikationen lassen sich auch als Ja-Nein-Frage formulieren: Brennt die Küche? Ist der Patient krank? Ist diese E-Mail Spam oder ein zuvor abonnierter, erwünschter Newsletter?
Entsprechend gibt es beispielsweise bei der Spamerkennung zwei mögliche Fehlklassifizierungen:
Natürlich gibt es auch zwei mögliche korrekte Klassifizierungen:
Ursachen und Folgen von False Negatives und False Positives
False Positives und False Negatives gibt es in allen Lebensbereichen, von statistischen Studien über Laboruntersuchungen bis hin zu zwischenmenschlicher Kommunikation: Bedeutet Schweigen wirklich Zustimmung oder ist es nur ein Charakterzug?
Aus diesem Grund gibt es auch die unterschiedlichsten Ursachen für Fehlklassifikationen: Technische Mängel am Analysegerät, nicht angepasste Testfälle, ein falscher Vergleichszeitraum und viele andere.
Auch Filter, die bei einer Software für E-Mail-Sicherheit für die Klassifizierung von E-Mails zuständig sind, können für False Negatives oder False Positives verantwortlich sein. Dies ist etwa dann der Fall, wenn eigentlich unbedenkliche E-Mails von einem Ihrer Partner als gefährlich bewertet beziehungsweise eine verseuchte E-Mail eines Partners zugestellt wurde.
Das kann im Falle von False Positives eine Unterbrechung der Kommunikation mit Ihrem Partner bedeuten, im Falle eines False Negatives schlimmstenfalls eine Infizierung Ihrer IT-Infrastruktur mit allen weiteren Folgen wie Datenverlust, Erpressung mit Hilfe von Ransomware und in jedem Fall finanzielle Schäden.
Risikofaktor Quarantäne
Bei Produkten für E-Mail-Sicherheit, die eine Quarantänefunktion beinhalten, ergibt sich ein weiteres Risiko. Ein Beispiel: Eine E-Mail, die eine wichtige Rechnung enthält, wird als Spam bewertet und in die Quarantäne verschoben. Es kann nun schnell passieren, dass diese E-Mail übersehen wird – und wenn der Quarantäne-Ordner auch noch nach 30 Tagen automatisch geleert wird, ist die E-Mail damit verloren. Es folgt die Mahnung, die wahrscheinlich auch in der Quarantäne landet.
NoSpamProxy verfügt nicht über eine Quarantäne, sondern prüft jede Mail bereits beim Empfang und klassifiziert diese anhand unterschiedlicher Spamfilter. Wird eine E-Mail als Spam oder potenziell gefährlich eingestuft, nimmt NoSpamProxy diese E-Mail nicht an. Nur als vertrauenswürdig bewertete Nachrichten werden zugestellt – alle anderen werden abgewiesen und der Absender wird über die verhinderte Zustellung informiert.
Was tun, wenn’s (doch nicht) brennt?
Kunden von NoSpamProxy müssen sich keine Sorgen über Fehlklassifizierungen von E-Mails machen: Virus Bulletin bestätigt NoSpamProxy durch die Vergabe der Auszeichnung VBSpam+ regelmäßig eine äußerst gute Spam-Erkennungsrate von mindestens 99,5 % sowie eine False-Positive-Rate von 0 %.
Falls es doch zu einer Fehlklassifizierung durch NoSpamProxy gekommen ist, empfehlen wir Ihnen die folgenden Vorgehensweisen:
False Negatives in NoSpamProxy
Sollten Sie eine verseuchte E-Mail von einem Ihrer Kommunikationspartner bekommen haben, empfehlen wir Ihnen, die betroffenen E-Mail-Adressen zu blockieren. Damit wir über den Vorfall informiert sind, sollten Sie die Fehlklassifizierung an spamreport@nospamproxy.de melden – ein wichtiger Beitrag zur Produktverbesserung Dazu sollten Sie eine Regel erstellen, mit der Sie die E-Mail-Adresse (MAIL FROM, nicht Header-From!) blockieren. Wie Sie regelbasiert eine Blocklist erstellen, erfahren Sie in der NoSpamProxy-Dokumentation.
Natürlich ist es problematisch, die Kommunikation mit einem Partner zu unterbinden – auch wenn dies der Sicherheit Ihres Unternehmens dient. Für den Fall, dass die Kommunikation mit dem kompromittierten Partner aufrechterhalten werden soll, haben wir einige Empfehlungen für Sie zusammengefasst.
False Positives in NoSpamProxy
Sollte ein Filter – beispielsweise ein Anti-Spam-Filter – in einer E-Mail bestimmte Indikatoren finden, die eine Fehlklassifizierung auslösen, so können Sie das Vertrauen in die betroffene Partnerdomäne mit Hilfe des Level of Trust fest auf 40 setzen. E-Mails werden dann in jedem Fall zugestellt.
Weitere Hinweise zum Umgang mit False Positives und False Negatives finden Sie in der NoSpamProxy-Dokumentation.
Eine generelle Empfehlung
Einige Anwender versuchen, die Erkennung von False Positives zu verhindern, indem sie bestehende Regeln situationsbasiert anpassen. So ist es wiederholt vorgekommen, dass der Schwellwert oder der Multiplikator eines Filters in der Standardregel All other inbound emails verändert wurde oder dass einzelne Echtzeit-Blocklisten (Realtime Blocklists, RBLs) im Filter bei jedem Vorfall entfernt wurden – mit der Konsequenz, dass dieser Filter mit der Zeit immer zahnloser wurde.
Häufig tritt dann kurz nach dem Anheben des Schwellwertes ein anderes Problem zu Tage: E-Mails, die bisher als Spam erkannt und in der Regel mit 4 SCL-Punkten (Spam Confidence Level) bewertet wurden, werden nun zugestellt. Die Folge ist dann in vielen Fällen der Versuch, nach der Anhebung des Schwellwertes die ursprünglich gute Spamerkennung mit Hilfe der Multiplikatoren wiederherzustellen.
Wir raten dringend davon ab, die oben genannte Regel zu verändern. Gehen Sie stattdessen wie folgt vor, wenn Sie Anpassungen vornehmen wollen:
- Duplizieren Sie die Regel All other inbound emails.
- Schränken Sie die Regel auf die betroffene Absenderdomäne der E-Mail-Adresse ein.
- Passen Sie den Index an.
- Nehmen Sie in der neu erstellten Regel die gewünschten Änderungen vor. Welche Änderungen nötig sind, können Sie durch Analyse des jeweiligen Message Tracks klären. Ein Beispiel wäre die Anpassung des Reputationsfilters.
Sie haben NoSpamProxy noch nicht im Einsatz?
Mit NoSpamProxy schützen Sie Ihr Unternehmen zuverlässig vor Cyberangriffen. Fordern Sie jetzt Ihre kostenfreie Testversion an!
