Kolloquiumsvortrag: 16. Oktober 2018, Andreas Buck


16. Oktober 2018
10:15bis11:00

Performanceoptimierung von Apache Spark im Bereich Data Analytics bei Audi

Die Entwicklung neuer Fahrzeugfunktionen im E-/E-Bereich löst seit einiger Zeit einen rasanten Anstieg anfallender Daten aus. Vor allem im Entwicklungsstadium ist es wichtig, die Messungen von Sensoren und Steuergeräten effektiv auswerten zu können. Um bisherige, mittlerweile inpraktikable, Verwaltungsmethoden abzulösen, wird bei Audi an dem Projekt Share42morrow gearbeitet. Share42morrow soll eine zentrale Plattform schaffen, die es ermöglicht, Messdaten fachbereichsübergreifend abzulegen, zu verwalten und auszuwerten. Die Auswertung der Daten geschieht zum großen Teil durch Apache Spark. Dieses Framework erlaubt eine komfortable Entwicklung von hoch parallelen Analysen in interaktiven sowie automatisierten Anwendungen. Die einfache Handhabung birgt allerdings auch ein hohes Optimierungspotential für Konfigurationen, Datenstrukturen und die Anwendungen selbst. Im Rahmen dieser Projektarbeit wird deshalb ein umfassendes Bild der Möglichkeiten zur Optimierung von Clusteranwendungen unter Apache Spark gezeichnet. Besondere Rücksicht wird dabei auf die lokalen Gegebenheiten und Restriktionen genommen. Zudem werden drei Umsetzungen vorgestellt, durch die die Performance von Analysen großer Datenmengen erheblich gesteigert wird. Um Daten in erster Linie ressourcenschonend auszuwerten, werden diese oder ähnliche Maßnahmen wärmstens empfohlen.

 

Ort: Raum 04.137, Martensstr. 3, Erlangen