Palo ETL
Extraktion, Transformation und Laden von Massendaten aus heterogenen Quellen
- Einfach, schnell und flexibel Datenimporte vollautomatisiert und webbasiert durchführen
- Schnittstelle zu allen gängigen relationalen Datenbanksystemen und SAP ERP- und BW-Systemen
- Drill-Through Funktion ermöglicht Zugriff von verdichteten Palo OLAP-Zahlen herunter auf die unterste Belegebene der Quelldaten
- Komplett Webservice-basierte Lösung für optimale Integration
Datenintegration für Palo-Modelle
Im Unterschied zu anderen ETL-Tools ist Palo ETL speziell auf die Anforderungen von OLAP-Analysen zugeschnitten. So wird Palo OLAP Server auf performante Weise als Quell- und Zielsystem unterstützt. Das Handling von Cubes und Dimensionen ist denkbar einfach. Häufig benötigte Zeit-Hierarchien können flexibel generiert werden. Das relationale Modell der Quellsysteme kann so auf effiziente Weise in ein OLAP-Modell umgewandelt werden.
Der ETL-Prozess in drei Schritten
- Extracts:
Die Datenabfragen auf die Quellsysteme werden in Extracts definiert. Alle gängigen relationalen Datenbanksysteme wie etwa MySQL, Microsoft SQL Server und Oracle können per JDBC-Schnittstelle angeschlossen werden. Neben dem Zugriff auf Palo OLAP Server können Daten außerdem aus Flat Files, XML-Files, Webservices und LDAP-Systemen extrahiert werden. Eine direkte Anbindung von SAP-Systemen via RFC/BAPI ist mittels Palo SAP Connectivity möglich.
- Transforms:
Die notwendigen Transformationsschritte werden in Transforms abgebildet: Normalisierung, Aggregation, Join, Filtern und Sortieren, sowie spezielle hierarchische Operationen für Dimensionsdaten. Für feldweise Transformationen stehen vordefinierte Functions zur Verfügung z.B. für Mapping und Verkettung. Darüber hinaus gehende kundenspezifische Transformationen können mit einer Scriptsprache oder Java implementiert werden. Das Ergebnis eines Transforms kann, wie auch für Extracts, bereits in der Modellierungsphase mit der Datenvorschau geprüft werden.
- Loads:
Mit Loads werden die Daten in das Zielsystem geschrieben. Das Erzeugen von Dimensionen und Cubes in Palo OLAP Server erfolgt durch optimale Ausnützung der Schnittstelle sehr performant. Außerdem können Daten in relationale Datenbanksysteme und Flat Files zurückgeschrieben werden. Jobs gruppieren mehrere Loads und können durch die Verwendung von Variablen dynamisiert werden. Sie sind damit die Grundlage für einen zeitgesteuerten und vollautomatischen Ladeprozess.
Drill-Through:
Unter Drill-Through versteht man das Verzweigen von einer Datenquelle auf eine meist detailliertere andere Datenquelle. Mit Hilfe von Palo ETL ist der Drill-Through von Palo auf die Belegdaten in den Quellsystemen durch Zwischenspeichern der erforderlichen Daten möglich. Damit können Informationen über den Ursprung der Daten auf einem hohen Detaillierungsgrad über Navigation angezeigt werden.
top
Palo RSS Feed