Der brutkasten berichtet nicht oft über Gaming – und wenn doch, dann muss schon Hightech eines österreichischen Unternehmens dahinter stecken. Genau dies war im Sommer 2020 der Fall, als bekannt wurde, dass das Grazer Unternehmen blackshark.ai hinter den Grafiken des Microsoft Flight Simulator steckt. Hier wurde die gesamte Welt mittels Künstlicher Intelligenz für einen Flugsimulator virtualisiert. Und diese Technologie kommt nicht nur in Spielereien, sondern auch in Szenarien für das echte Leben zum Einsatz: Konkret bei selbstfahrenden Autos, wie Michael Putz, Co-Founder und CEO von blackshark.ai, dem brutkasten mitteilt.

Digitale Zwillinge für jeden Zweck

“Obwohl wir im Gaming bisher die meiste öffentliche Aufmerksamkeit bekommen haben, ist unsere Technologie tatsächlich hauptsächlich außerhalb des Gamings in vielen anderen Industrien im Einsatz”, sagt Putz: Überall geht es um einen “digitalen Zwilling unseres Planeten”, der auf Basis von Input Daten – Satellitenbilder, Luftaufnahmen, Straßenaufnahmen, Point Clouds generiert von Sensoren – in semantischem 3D rekonstruiert wird.

“Das ganze passiert vollautomatisch mit Hilfe von künstlicher Intelligenz und einer von uns eigens entwickelten und patentierten prozeduralen Sprache, und skaliert dadurch ohne Einschränkungen”, sagt Putz: Für den Microsoft Flugsimulator hat blackshark.ai zum Beispiel weltweit 1,5 Milliarden Gebäude detektiert und rekonstruiert. 

Nvidia und blackshark.ai arbeiten an selbstfahrenden Autos

Nun haben blackshark.ai und NVIDIA bekannt gegeben, dass sie gemeinsam an Simulationsumgebungen für das Testen autonomer Fahrzeuge zusammenarbeiten. Dabei kommt eben jene digitale Zwillingsplattform zum Einsatz, die KI und Cloud Computing nutzt, um Material aus der echten Welt zu einer fotorealistischen 3D-Umgebung in der virtuellen Welt umzuwandeln.

Die Technologie wurde auf der NVIDIA DRIVE Sim in einer Keynote von Jensen Huang, Gründer und CEO von NVIDIA, vorgestellt. Die Demonstration zeigte die Stadt San Jose, Kalifornien, in DRIVE Sim, mit Gebäuden und Bäumen, die mit der Blackshark.ai-Technologie rekonstruiert wurden. Mehr dazu im nachfolgenden Video, ab Minute 3:59.

Warum selbstfahrende Autos digitale Zwillinge brauchen

Doch wozu brauchen selbstfahrende Autos überhaupt digitale Zwillinge? “Die Sensoren von autonomen Fahrzeugen müssen auf Herz und Nieren getestet werden bevor sie als straßentauglich zertifiziert werden können”, sagt Putz. Das heißt, dass Sensoren im Test jeder nur möglichen Situation ausgesetzt werden müssen, beeinflusst zum Beispiel durch das Zusammenspiel von Umgebung, Tages- bzw. Nachtzeit, Lichteinfall, Reflektionen, Wetterverhältnisse, Verkehrsverhältnisse und vieles mehr, um das Verhalten der Algorithmik zu überprüfen, und so genannte “edge cases” zu identifizieren, bei denen die Sensoren bzw. die Algorithmik noch versagen, und wo dementsprechend nachgebessert werden muss.

Aus Sicherheitsgründen kann dies offensichtlich nicht einfach im Straßenverkehr getestet werden, bevor nicht entsprechende Testergebnisse und Zertifizierungen vorhanden sind. Teststrecken wiederum können unmögliche alle möglichen Szenarien des realen Straßenverkehrs abbilden. Daher greift man unter dem Schlagwort “Virtual Sensor Simulation” auf virtuelle Tests zurück.

Und eine dieser virtuellen Lösungen ist eben das NVIDIA DRIVE Sim Produkt, für das blackshark.ai aus Graz die automatische und hochskalierbare Generierung von authentischen 3D Umgebungen für die virtuelle Simulation von autonomen Fahrzeugen liefert. Weitere Projekte dieser Art dürften in Zukunft folgen.