TUfast Driverless Hockenheim

Das Rennen der autonomen Autos in Hockenheim ist nun vorbei. Wir haben den 5. Platz (von 15 Teilnehmern) belegt. Unser Auto und unsere Entwicklungen haben definitiv das Potential für weitaus mehr, allerdings gab es Probleme mit mit den Motoren und anderer Hardware während des Events.

Für die Erkennung der Absperrhütchen welche die Strecke markieren haben wir 2 Flir Kameras benutzt um Stereobilder zu erhalten. Die Tiefeninformationen wurden mit den Daten des LiDARs kombiniert für eine höhere Präzision. Meine Aufgaben waren unter anderem das Kalibrieren des LiDARs mit den Kameras, der erkennen der cones in den LiDAR Datan und mergen der Kameradaten mit denen des LiDARs. Zu beginn war eine Erkennung mit Hilfe eines neuronalen Netzes angedacht, dies stellte sich aber als zu rechenintensiv und nicht erforderlich heraus, da die cones sehr markant und gut (auch mit eher herkömmlichen Methoden) zu erkennen sind.

Die erkannten Absperrhütchen (also die landmarks) wurden dann für den SLAM verwendet.

Als Rechner benutzten wir drei NVIDA Jetson Computer welche sich um alle Computervision und path-planning aufgaben kümmerten.

TUfast LiDAR

Ich habe verschiedene Test mit zwei verschiedenen LiDARs durchgeführt um zu ermitteln wechles für uns am geeignetesten ist. Die Anforderung an den Sensors sind recht hoch: wir müssen die Absperrhütchen welche die Rennstrecke makieren auch bei hoher Geschwindigkeit sicher erkennen. Die Daten des LiDAR werden zusammen mit den Daten der Stereokameras für für SLAM benutzt.
Das LMS 511 und LMS 151 von SICK.
Zur Zeit arbeite ich an der Kalibrierung der Kameras und des LiDARs um die point clouds der beiden Systeme fusen zu können. Fast fertig ist meine cone detection, also der Algorithmus mit dem die Absperrhütchen in der point cloud gefunden werden.

Reifeberechnung der Erdbeeren

Nun funktioniert auch die Reifeberechnung der Erdbeeren (meißtens) gut. Allerdings nur von einer Seite. Um die Erdbeere von der anderen Seite zu betrachten wird die Kamera vom Roboter bewegt werden. Auch die Berechnung des Punktes wo die Erdbeere abgeschnitten werden soll macht Fortschritte. Dazu muss die Erdbeere im Raum lokalisiert und die Ausrichtung berechnet werden.

Wir haben uns erstmal dazu entschieden keine Bilder des Prototypen zu veröffentlichen.

TUfast Driverless

Seit einiger Zeit nun bin ich Mitglied im Verein TUfast Driverless der TUM. Das Racing Team des Vereins baut jedes Jahr zwei neue Rennwagen: einen mit Verbrennungsmotor, den anderen mit Elektromotor. Mit diesen Wagen wird dann bei der Formula Student in verschiedenen Ländern zum Rennen angetreten. Die Rennen werden von Rennfahrern gefahren.
Ab 2017 gibt es aber eine neue Kategorie: Driverless. Dabei muss ein Rennwagen vollautonom drei challenges absolvieren. Ein Beschleunigungsrennen, drei Runden im Skidpad (eine „Acht“) und zehn Runden auf der eigentlichen Rennstrecke. Bei dem Rennen wird aber immer nur ein Auto zur Zeit fahren, gewonnen hat das Team mit der kürzesten Zeit.

Dies ist der Elektrorennwagen von 2015, welchen wir zum autonomen fahren umrüsten. Ich arbeite an der Sensor Integration und Perception, also das auswählen und anbringen der Sensoren sowie das verarbeiten der Daten um dem Control/Planning Team ein optimales Lagebild zu bieten. Unser Rennen ist im August 2017 auf dem Hockenheim Ring! Bis dahin ist noch einiges zu tun..

Verbesserte Bilderkennung

Die Erdbeererkennug des Roboters macht gute Fortschritte. Das Programm läuft auf einem Raspberry Pi 3, die Daten liefert in dem aktuellen Prototyp eine RaspiCam 2.0. Das Erkennen und Lokalisieren der Erdbeere im Bild funktioniert (zumindest unter aktuellen Testbedingungen) gut. Zum simulieren einer Erdbeere benutze ich bisher einfach verschiedene ausgedruckte Bilder.
Ein aktuelles Problem ist das Bestimmen des Reifegrades.

Erdbeerernteroboter

Seit Mai nun arbeite ich mit einem Bekannten daran, vollautomatische Erdbeerernteroboter zu entwickeln und zur Marktreife zu bringen. Das würde den Erdbeerbauern die Arbeit sehr erleichtern, da diese im Moment auf saisonale Arbeitskräfte angewiesen sind um die Erdbeeren zu ernten. Ein weiterer Vorteil ist, dass der Roboter für jede Pflanze einzeln Werte wie Bodenfeuchte, Nitratgehalt usw ermitteln und speichern können. Das macht eine sehr effiziente Düngung und Bewässerung möglich. Ich arbeite zur Zeit an der Bilderkennung des Roboter, so dass Erdbeeren und Pflanzen erkannt werden. Dafür benutze ich openCV. Zudem arbeite ich an einer (erstmal) rudimentären Navigation.

Studium an der Technischen Universität München

Ich werde im Oktober endlich mein Informatikstudium an der TUM beginnen! Dort kann ich mich dann schon während des Bachelors auf künstliche Intelligenz und Robotik spezialisieren. Dort wird auch viel an SLAM und anderen Problemen geforscht, es wird also genügend herausforderungen geben.

Ziehmlich cool ist zum Beispiel der Keyframe Slam:

Hier wird SLAM auf Keypoints von einem Kamerastream angewendet.

Abiturklausuren

Zur Zeit bin ich sehr mit meinem Abitur beschäftigt. So komme ich im Moment leider kaum dazu an meinem Roboter zu arbeiten. Dann bin ich aber bald fertig mit der Schule und kann mein Informatikstudium beginnen!
Ich lese zur Zeit „Superintelligence“ von Nick Bostrom. Ein sehr empfehlenswertes Buch welches sich mit der Problematik einer starken KI auseinander setzt. Eine sehr interessante Lektüre!

Laserscanner-Daten

Hier ist ein Video von der Visualisierung der Laserscanner-Daten mit meinem Tool. Während des Scans laufe ich durch den Raum und bewege ein Objekt, was mann in 2D Punktwolke auch erkennt.

iROS 2015

Diese Woche war ich auf der iROS (International Conference on Intelligent Robots and Systems) 2015 in Hamburg. Über die HULKs der TUHH bekam ich die Möglichkeit, mich als studentische Hilfskraft zu melden. So konnte ich an der Konferenz und allen Workshops teilnehmen. Besonders spannend fande ich den Workshop zum Thema Softwarearchitektur für Robotiksysteme.

Auch wurden auf der iROS viele Roboter live präsentiert. Zum beispiel der WALK-MAN:iroswalkman1

Dieser humanoide Roboter wird in einem europäischen Zusammenschluss unter der Leitung des IIT (italienisches Institut für Technologie) entwickelt und gebaut. Der 1,85m hohe Roboter wiegt mit Batterie 118kg. Eingesetzt werden soll er nach Abschluss der Entwicklungsarbeiten in Katastrophenmissionen wie etwa Fukushima. Das Team WALKMAN hat an der Darpa Robotics Challenge teilgenommen und den 24. Platz belegt.