Info Sheet:
Research Paper – Big Data: Hive on Spark mit Jedox nutzen (it-novum)

Resource Image

Gastbeitrag von Jedox-Partner it-novum

Mit dem Release von Hive 1.1 im Januar 2015 hat Apache Spark in Hive Einzug gehalten. Bei Apache Spark handelt es sich um ein Open Source-Projekt aus dem Bereich Cluster Computing zur Verarbeitung von großen Datenmengen. Im Gegensatz zu Map-Reduce über Hadoop versucht Spark, viele Operationen bei der Datenverarbeitung im Arbeitsspeicher durchzuführen (In-Memory) und Zugriffe auf das HDFS gering zu halten. Für einige Anwendungsfälle ist es daher bis zu 100-mal schneller als Map-Reduce. Das betrifft insbesondere Anwendungen mit vielen Reduce-Schritten wie sie z.B. bei der Übersetzung von komplexen Queries oder im Business Intelligence-Umfeld an der Tagesordnung sind.

Bislang war es nicht möglich, Spark in der Business Intelligence-Plattform von Jedox zu nutzen und so von den Performancegewinnen zu profitieren. Aus diesem Grund haben wir diese Untersuchung gestartet: wir möchten zeigen, wie Spark in Verbindung mit Hive und mit einigen Einschränkungen auch für Jedox genutzt werden kann. Und dies, ohne dass Anpassungen an den Queries oder in Jedox vorgenommen werden müssen.

By | 2017-04-06T15:35:09+00:00 Februar 8th, 2016|
X