“Das erste Mal, dass ich bemerkte, dass es ein Problem gab, war, als ich sah, dass George Clooney sich einen Account bei uns gemacht hat. Ich dachte: ‘Heilige Scheiße, das ist verrückt, ich kann es nicht glauben…’, aber dann habe ich mir sein Profil genauer angesehen”, erzählt Brian Weinreich, Head of Product beim US-Startup filteroff, das eine Video-Speed-Dating-App betreibt, dem Magazin TechCrunch. Clooney stellte sich als ein 34-Jähriger aus Lagos in Nigeria heraus. Er habe das Profil daraufhin gelöscht, sagt Weinreich. Doch es seien ihm noch viel mehr Accounts aufgefallen, die zunächst wie echte Menschen aussahen, aber bei denen zu vieles nicht zusammenpasste. Und diese Fake-Profile versuchten mit verschiedenen Betrugs-Maschen, User:innen ihr Geld aus der Tasche zu ziehen.

Für jedes gelöschte Scam-Profil kamen fünf neue

Das Product-Team entwickelte daraufhin einen Algorithmus, der die Betrüger-Accounts anhand verschiedener Parameter automatisch erkannte. Doch diese zu löschen, habe nichts gebracht, sagt der filteroff-Manager. Denn für jedes gelöschte Fake-Profil seien fünf neue gekommen. Man habe sich daher für einen anderen Weg entschieden. “Ich dachte mir, dass wir eine Möglichkeit brauchen, um Betrüger:innen loszuwerden, aber es musste so sein, dass sie nicht einfach zurückkommen konnten”, erzählt Weinreich. “Ich erinnerte mich daran, dass es auf Reddit und anderen Plattformen ein ‘Shadow Banning” gibt, bei dem die Nutzer:innen weiterhin Beiträge schreiben können, aber normale User:innen ihre Inhalte nicht sehen”.

“Die Betrüger:innen treffen auf andere Betrüger:innen und versuchen, sich gegenseitig zu betrügen”

Das filteroff Team erstellte daraufhin eigene Fake-Profile mit Deep Learning-basierten Chatbots. Vom Algorithmus erkannte Fake-Profile kommen nun in einen separaten bereich, wo sie nur auf andere Betrüger:innen oder die unternehmenseigenen Chatbot-Accounts treffen. “Die Betrüger:innen treffen auf Bots, aber sie treffen auch auf andere Betrüger:innen und versuchen, sich gegenseitig zu betrügen”, so Weinreich. “Sie sagen: ‘Ich will 40 Dollar für einen Google Play-Geschenkgutschein’, und der andere Scammer antwortet: ‘Nein, nein, du gibst mir einen Geschenkgutschein’, und sie streiten sich weiter”.

Scammer beschweren sich bei filteroff

In der filteroff-App gebe es derzeit mehr als 1.000 Betrüger:innen, die aktiv nur mit Bots sprechen und so den echten Nutzer:innen nicht zur Last fielen. Und die würden sich teilweise sogar beschweren, erzählt der Head of Product: “Das Lustigste an unserer Meldefunktion ist die Anzahl der Meldungen, die ich von Betrüger:innen erhalte, die berichten, dass sie mit einem Bot sprechen. Ich denke mir dann: ‘Ja, ich weiß, darum geht es ja'”.