Dieses Modul führt in die wichtigsten Konzepte aus dem weiten Feld der Computer Vision ein, die für die Entwicklung von Wahrnehmungsmethoden für selbstfahrende Fahrzeuge erforderlich sind. Zu den wichtigsten Komponenten gehören Kameramodelle und deren Kalibrierung, monokulares und Stereosehen, projektive Geometrie und Faltungsoperationen.

Visuelle Merkmale werden verwendet, um Bewegungen in einer Umgebung zu verfolgen und um Orte auf einer Karte zu erkennen. Dieses Modul beschreibt, wie Merkmale in einer Bildsequenz erkannt und verfolgt und mit anderen Quellen zur Lokalisierung zusammengeführt werden können, wie in Kurs 2 beschrieben. Die Extraktion von Merkmalen ist auch für die Objekterkennung und die semantische Segmentierung in tiefen Netzwerken von grundlegender Bedeutung. In diesem Modul werden einige der in diesem Zusammenhang verwendeten Methoden zur Merkmalserkennung vorgestellt.

Deep Learning ist eine der wichtigsten Technologien für die selbstfahrende Wahrnehmung. Dieses Modul gibt eine kurze Einführung in die Kernkonzepte moderner neuronaler Faltungsnetzwerke, wobei der Schwerpunkt auf Methoden liegt, die sich bei Aufgaben wie der Objekterkennung und der semantischen Segmentierung als effektiv erwiesen haben. Es werden grundlegende Netzwerkarchitekturen, gemeinsame Komponenten und hilfreiche Tools für die Konstruktion und das Training von Netzwerken beschrieben.

Die beiden häufigsten Anwendungen tiefer neuronaler Netze für das selbstfahrende Auto sind die Objekterkennung, einschließlich Fußgänger, Radfahrer und Fahrzeuge, und die semantische Segmentierung, bei der Bildpixel mit nützlichen Bezeichnungen wie Schild, Ampel, Bordstein, Straße, Fahrzeug usw. verknüpft werden. In diesem Modul werden Basistechniken für die Objekterkennung vorgestellt und im folgenden Modul wird die semantische Segmentierung eingeführt, die beide verwendet werden können, um eine vollständige Pipeline für die Wahrnehmung selbstfahrender Autos zu erstellen.

Die zweithäufigste Anwendung tiefer neuronaler Netze für das selbstfahrende Auto ist die semantische Segmentierung, bei der Bildpixel mit nützlichen Bezeichnungen wie Schild, Ampel, Bordstein, Straße, Fahrzeug usw. verknüpft werden. Die Hauptanwendung für die Segmentierung ist die Identifizierung der befahrbaren Oberfläche, was bei der Schätzung der Bodenebene, der Objekterkennung und der Beurteilung der Fahrbahnbegrenzung hilft. Die Segmentierungskennzeichen werden auch direkt in die Objekterkennung als Pixelmasken integriert, und zwar für statische Objekte wie Schilder, Lichter und Fahrspuren sowie für sich bewegende Objekte wie Autos, Lastwagen, Fahrräder und Fußgänger

Das letzte Modul dieses Kurses befasst sich mit der Implementierung eines Kollisionswarnsystems, das ein selbstfahrendes Auto über die Position und Kategorie von Hindernissen in seiner Fahrspur informiert. Das Projekt besteht aus drei großen Teilen: 1) Schätzung des befahrbaren Raums in 3D, 2) Semantische Fahrspurschätzung und 3) Filterung falscher Ausgaben aus der Objekterkennung mithilfe semantischer Segmentierung.