Die Zukunft der Mobilität ist das autonome und CO2-neutrale Fahren. So lassen wir uns bald vom Auto zur Arbeit chauffieren und nutzen die Fahrzeit zum Lesen erster Mails. Oder das Auto fährt unsere Kinder zum Sport, die Oma zum Arzt und sucht sich eigenständig einen Parkplatz, wo es selbstständig lädt.

Hinter dieser revolutionären Technologie verbergen sich komplexe Systeme, welche das Fahrzeug befähigen, seine Umwelt zuverlässig zu erfassen. In diesem Artikel werden wir uns auf zwei Schlüsseltechnologien konzentrieren, die das Herzstück autonomer Fahrzeuge bilden: LiDAR (Light Detection and Ranging) und Ultraschallsensorik. Wir werfen einen Blick auf die Innovationen in Mikrochips, Software und Künstlicher Intelligenz (KI), welche von Elmos entwickelt und produziert werden, und erfahren, wie diese Technologien unser Fahrerlebnis sicherer und komfortabler gestalten.

Einleitung: Warum LiDAR und Ultraschall?
Damit das zukünftige Auto autonom fahren kann, muss es sein Umfeld zuverlässig erfassen und erkennen, um sicher durch den Verkehr zu manövrieren. Heutige Fahrzeuge nutzen bereits verschiedenste Sensortechnologien. Um in Zukunft autonomes Fahren Level 4 zu ermöglichen, reicht es jedoch nicht, 95% aller Situationen zu meistern, sondern auch die selten auftretenden 5%, die sogenannten „Edge-Cases“ rücken in den Vordergrund. Das Fahrzeug muss unter allen Umgebungsbedin-

gungen die Rundumsicht behalten, ob bei strahlendem Sonnenschein, im Dunkeln, bei Regen, Schnee oder Nebel. Es muss jederzeit in der Lage sein, sicheres Fahren zu garantieren, auch wenn Sensoren ausfallen oder zeitweise „blind“ sind. Der Mensch löst diese Herausforderung optimal mit seinen Augen, Ohren, Erfahrung und Intuition. Und dies sehr energieeffizient; so hat das Gehirn einen Leistungsverbrauch von umgerechnet 20 W. Demgegenüber stehen heute noch notwendige Rechenleistungen von einigen kW, um vergleichbare Ergebnisse mit Computern zu erzielen.

Für eine zuverlässige Erkennung der Umgebung in nahezu Echtzeit muss das Fahrzeug auf eine Vielzahl von Umgebungssensoren zurückgreifen, um in jeder Situation Schwächen einzelner Systeme durch die Stärken anderer auszugleichen. Die Sensorsysteme müssen hierzu zuverlässige Daten liefern, welche im Fahrzeug über eine sogenannte Sensordatenfusion zusammengeführt werden.

Für echte dreidimensionale bildgebende Informationen bieten sich Laser Scanner, sogenannte Lidar Systeme an, welche über die Messung der Lichtlaufzeit die exakte Entfernung zu einem Punkt ermitteln können. Durch die Wahl einer geeigneten Wellenlänge des Lasers können die Systeme auch zu einem gewissen Maße durch Regen oder Nebel schauen und ergänzen so weitere Technologien, wie Kamera und Radar, optimal. 

Im Nahbereich zeigt sich, dass das Potential von Ultraschallsensoren – bekannt durch die Einparkhilfen – lange noch nicht ausgeschöpft ist. In diesem Feld ermöglichen Innovationen von Elmos, dass das Auto mittels Ultraschall „sehen“ lernt. Durch die Kompaktheit, Zuverlässigkeit und Kosteneffizienz der Sensoren wird diese Technologie auch im Auto der Zukunft weiterhin zu finden sein und insbesondere im Stadtverkehr sein Potential entfalten.

Mit den „Ohren sehen“ – Innovationen in der Ultraschallsensorik
Klassische Ultraschallsysteme im Fahrzeug erkennen lediglich die Entfernung (mehr oder weniger genau) und grobe Richtung (vorne, links, rechts) zu einem Objekt. Eine genaue Positionserfassung oder Bestimmung der Abmessungen ist dabei nicht möglich. Ebenso können keine Höheninformationen des Objektes abgeleitet werden. So stoppt das Fahrzeug z.B. vor einer Bordsteinkante, welche überfahren werden könnte oder lässt sich durch Reflektionen des Ultraschalls an Kopfsteinpflaster irritieren. 

Innovationen durch Elmos in der Erfassung und Verarbeitung von Ultraschallsensoren erlauben es inzwischen, die Reflektion eines Ultraschallpulses vollständig zu erfassen und über einen Hochgeschwindigkeitsbus weiter zu leiten. So können z.B. Notbremsfunktionen im Stadtverkehr umgesetzt werden. Durch die Verarbeitung der Signale aller Ultraschallsensoren mittels Verfahren der Künstlichen Intelligenz können völlig neue Funktionen umgesetzt werden. Hierzu tragen auch Innovationen der Sensoren bei, die es ihnen ermöglichen, zuverlässig zu erkennen, von welchem Sensor ein Schallimpuls ausgelöst wurde und wessen Echo gerade empfangen wird. In Kombination mit einer intelligenten Anordnung der Sensoren können die Ultraschalldaten in eine Umgebungskarte umgerechnet werden, sodass die Position eines Objektes im Raum inkl. einer Höhenklassifikation des Objektes ermittelt werden kann.

Zum Trainieren der KI für die Auswertung der Sensordaten sind eine Vielzahl von Daten aus Fahrversuchen notwendig. Im Falle von Radar- oder Vision Systemen kann auf eine große Datenbank an Fahrdaten zurückgegriffen werden. Im Falle der Ultraschallsensorik existieren solche Datenbanken jedoch nicht. Dieser Herausforderung hat sich Elmos mit der Erforschung eines digitalen Zwillings gestellt, in welchem per „Acoustic Beam Tracing“ virtuelle Trainingsdaten erstellt und unterschiedlichste Fahrsituationen dargestellt werden können. 

In Zukunft werden die neuen Möglichkeiten der Ultraschallsensorik von Elmos dazu beitragen, das autonome Ein- und Ausparken zuverlässiger zu gestalten sowie Unfälle mit z.B. Kindern in Parklücken oder Haustieren zu vermeiden. Zudem wird der sehende Ultraschall in der Fusion mit anderen Sensorsystemen einen wichtigen Beitrag zum autonomen Fahren in der Stadt leisten, insbesondere im Nahbereich um das Fahrzeug herum.

Mit den “Augen tasten” – Innovationen bei LiDAR Systemen
Eine optimale Ergänzung zu Ultraschallsensoren stellen sogenannte Lidar Systeme dar, welche mittels eines Laserstrahls und innovativer Sensoren eine echte 3D-Karte der Umgebung erstellen können. Bis heute konnte sich diese Technologie im Fahrzeug jedoch noch nicht auf breiter Ebene durchsetzen, da heutige Systeme zu groß, zu teuer und zu anfällig sind. Bekannt geworden sind Lidar Systeme z.B. durch die großen „Knubbel“ auf Google-Cars, welche die Umgebung für Google Maps erfassen oder auf Roboter-Taxis von Waymo in Kalifornien. Diese Systeme nutzen einen schnell rotierenden Spiegel, um die Umgebung abzutasten. Aktuelle Entwicklungen zielen auf Lidar Systeme ohne bewegliche mechanische Teile, sogenannte „Solid State“ Systeme, ab. Diese wiederum gliedern sich in Systeme, in denen Mikrospiegel (MEMS) zur Ablenkung der Laserstrahlen genutzt werden sowie „Flash LiDAR“ Systeme, welche das Sichtfeld vollständig über einen Laserpuls beleuchten. Beide Typen haben bzgl. Komplexität, Reichweite und Auflösung Vor- und Nachteile. 

Elmos hat eine Lösung erarbeitet, welche beide Prinzipien kombiniert, dabei aber auf den Einsatz von MEMS Spiegeln verzichten kann. Statt eine Szene komplett zu beleuchten, wird ein Array aus Lasern genutzt, um die Umgebung zeilenweise in einem sogenannten „Rolling Shutter“ Prinzip zu beleuchten. Elmos setzt bei seinem System auf Laser mit einer Wellenlänge von 905 nm. Dies hat mehrere Vorteile. So liegt bei dieser Wellenlänge ein atmosphärisches Fenster, in dem wenig Licht von der Luft oder Feuchtigkeit absorbiert wird. Zudem können die Sensoren komplett in robuster und günstiger CMOS Technologie umgesetzt werden. Um die Anforderungen an die Augensicherheit einhalten zu können, aber dennoch eine hohe Reichweite und Signalgüte zu erhalten, sind sehr kurze Laserpulse mit hoher Leistung notwendig. Hierzu hat Elmos einen innovativen Lasertreiber mit 16 Kanälen entwickelt. Eine Kerninnovation liegt im Layout der Treiberstrukturen, durch welches der Treiber in CMOS umgesetzt werden und auf zusätzliche teure GaN Schalter verzichtet werden kann.  Zur Minimierung störender Induktivitäten sieht das Konzept vor, dass Kapazitäten sowie Laserdioden direkt auf dem Laser Treiber IC montiert werden. Mit diesem Konzept, welches zudem miniaturisiert umgesetzt werden kann, erreicht Elmos Laser Puls Zeiten von < 1 ns und Leistungen >125 W, was derzeit den aktuellen Stand der Technik darstellt. Durch das deutlich verbesserte Puls-Pause-Verhältnis gegenüber diskreten Aufbauten wird die Leistungsaufnahme und Eigenerwärmung reduziert. Der reflektierte Laser-Puls zeichnet sich in den Empfangsdaten schärfer vom Umgebungsrauschen ab, sodass mit weniger Rechenaufwand eine sicherere und präzisere Distanzmessung möglich ist.

Optimal auf das Lasersystem abgestimmt hat Elmos einen optischen Sensor mit Einzelphotonen Detektoren, sogenannten SPADs, entwickelt. Diese Sensoren beruhen darauf, dass ein einzelnes einfallendes Photon eine Ladungslawine und somit den Sensor auslöst. Durch das Prinzip der Auslösung durch einzelne Photonen und der Tatsache, dass auch das Spektrum der Sonne Licht in der Wellenlänge des Lasers ausstrahlt (905 nm), liegt die Herausforderung darin, Auslösungen durch Fremdlicht von Auslösungen durch die Reflektion des ausgesendeten Laserstrahls zu unterscheiden. Hierzu hat Elmos eine vollständige Rohdaten-Aufnahme (Histogramm) und konfigurierbare Filter zur Datenkomprimierung im Sensor-IC integriert. Aus den Histogrammen können intelligente Algorithmen neben der Distanz weitere relevante Informationen ableiten. So ist es möglich, Rückschlüsse auf das Wetter zu ziehen und Regen, Nebel oder Schneefall zu erkennen. Ebenso kann der Grad der Verschmutzung auf der Kamera bestimmt werden, um z.B. gezielte Reinigungsvorgänge zu starten. Durch eine Mehrfach-Echo-Erkennung kann der Sensor auch schwierige Ziele, wie stark reflektierende Straßenschilder oder spiegelnde/teil-transparente Ziele, detektieren. Als Ergebnis erhält man eine 3D-Punktwolke der realen Umgebung.

Über kontinuierliche Forschung zur Miniaturisierung des Systems und Optimierung der optischen Eigenschaften konnte ein Demonstrator erarbeitet werden, welcher bezogen auf den Bauraum heutige LiDAR Systeme um ein Vielfaches übertrifft. Komprimiert auf gerade mal 4,2x2,7x3,5 cm³ erreicht das auf der Elmos Innovation basierende System eine Auflösung von 256x80 Pixel bei einer Reichweite von bis zu 50 m und einer Leistungsaufnahme von gerade mal 4 W. Durch den Verzicht auf bewegliche Teile oder teure MEMS Spiegel kann dieses System äußerst robust und kosteneffektiv umgesetzt werden.

Verschmelzung von Licht und Schall – Sensordatenfusion
Zukünftige Forschungsarbeiten sollen sich der Verschmelzung von Licht und Schall widmen, um die Umfelderkennung über eine Fusion der Sensordaten aus Ultraschall und LiDAR zuverlässiger und robuster zu gestalten. Beide Systeme haben das Potential, sich im Fahrzeug optimal zu ergänzen und optimiert auf die Bedürfnisse im Stadtverkehr die Umgebung des Fahrzeuges zu erfassen. Der Vorteil gegenüber Vision Systemen ist unter anderem die Unabhängigkeit vom Umgebungslicht – den Sensoren ist es egal, ob es dunkel oder hell ist – sowie eine gewisse Robustheit gegenüber schlechtem Wetter. Zudem erfordert die Auswertung der Sensordaten dieser Systeme eine geringere Rechenkapazität als die Auswertung von Vision Systemen, wodurch Energie und Kosten eingespart werden können. Autonome Ein- und Ausparkvorgänge können durch die Systeme abgesichert, Parklücken überwacht und Kinder oder Haustiere früh erkannt werden. Darüber hinaus werden Notbremsfunktionen ermöglicht, z.B. bei plötzlich kreuzenden Radfahrern oder Fußgängern. Durch Kompaktheit und optimierten Kosten sollen diese Systeme in Zukunft auch in Klein- und Mittelklassewagen Einzug finden können sowie gemeinsam mit weiterer ADAS (Advanced Driver-Assistance Systems) Sensorik zur Redundanz beitragen und damit sicheres autonomes Fahren ermöglichen.

Über Elmos
Elmos entwickelt, produziert und vertreibt Halbleiter vornehmlich für den Einsatz im Auto. Unsere Bausteine kommunizieren, messen, regeln sowie steuern Sicherheits-, Komfort-, Antriebs- und Netzwerkfunktionen. Seit 40 Jahren ermöglichen Elmos-Innovationen neue Funktionen und machen die Mobilität weltweit sicherer, komfortabler und energieeffizienter. Mit unseren Lösungen sind wir in Applikationen mit großem Zukunftspotential, wie Ultraschall Distanzmessung, Ambiente- und Rücklicht sowie intuitiver Bedienung, schon heute die weltweite #1.

Danksagung
Teile der Arbeiten werden gefördert im Rahmen des IPCEI Mikroelektronik und Kommunikation durch das BMWK aufgrund eines Beschlusses des Deutschen Bundestages, der Europäischen Union im Rahmen von „NextGenerationEU“, durch das Ministerium für Wirtschaft, Industrie, Klimaschutz und Energie des Landes Nordrhein-Westfalen, durch die Berliner Senatsverwaltung für Wirtschaft, Energie und Betriebe, durch das Ministerium für Wirtschaft, Arbeit und Tourismus Baden-Württemberg aufgrund eines Beschlusses des Landtages von Baden-Württemberg und durch das Ministerium für Wirtschaft, Arbeit und Energie des Landes Brandenburg.

Elmos Semiconductor SE

Technologische Basis

• Ultraschallsensorik
• Photodetektoren und CMOS 
• Sensorik

Innovation

• Sehender Ultraschall
• Full Solid State LiDAR

Anwendungsfeld im Automobil

• Sicherheit
• Umfelderkennung
• Autonomes Fahren

Impact

• Effizienzsteigerung
• Höhere Genauigkeit
• Unfall- und Gefahrenvermeidung

www.elmos.com

Abbildung 1: Das Fahrzeug erfasst die Umgebung mit verschiedenen Sensoren. Ultraschallsensoren für das nahe Umfeld und Full Solid State Lidar für mittlere Entfernungen bis 50 m. Mittels „sehendem Ultraschall“ können Objekte verortet und eine Höhenklassifikation vorgenommen werden, sodass z.B. Personen von Bordsteinkanten unterschieden werden können.
Abbildung 2: Die gleiche Szene aus Abbildung 1, erfasst mit Lidar Sensoren. KI-gestützte Sensordatenfusion ermöglicht eine optimale Synergie verschiedener Sensortechnologien.
Abbildung 3: Ultra kompakte Full Solid State Lidar Kamera. Die Kamera mit einer Auflösung von 256x80 Bildpunkten beinhaltet auf gerade mal 4,2x2,7x3,5 cm³ den Lasertreiber+Laser, die SPAD Imager, einen Mikrokontroller sowie die notwendigen optischen Komponenten (Linsen und Filter).