?Legacy ETL Tool Beschleunigung? Filter/Sort/Join/Aggregate: Pentaho 15x schneller, SSIS + DataStage 10x, Informatica 6x und Talend 4x ?
Auch Push von: Oracle Warehouse Builder (OWB) + Oracle Data Integrator (ODI), General Dynamics (ViPs) MCSource, TeraStream, Kalido Dynamic Information Warehouse, LexisNexis Risk Solutions, Cincom Supra PDM,..?
(PresseBox) - Herausforderungen:
Die meisten ETL- und ELT-Tools sowie die von ihnen verwendeten Datenbankmodule können große Datenmengen nicht effizient transformieren ohne:
eine teure Parallelverarbeitungs-Edition
Entnahme von Datenbank- oder Systemressourcen von Dritten
eine komplexe, schwer zu wartende Hadoop-Umgebung
eine 6 oder 7-stellige Hardware-Appliance oder Server-Upgrades
das Problem auf eine noch teurere Datenbank zu übertragen
Es sind die großen Sortier-, Joint- und Aggregationsaufträge, die zu lange dauern können. Auch nachfolgende Aufgaben wie das Laden, Analysieren oder BI-Displays leiden. Und diese E-, T- und L-Schritte werden typischerweise in separaten Schritten, I/O-Durchgängen, Produkten oder ständig wechselnden Cloud-Konfigurationen durchgeführt.
Lösungen:
Wenn Sie andere ETL- oder ELT-Software verwenden, können IRI-Extraktions- und Transformationsprogramme wie FACT oder CoSort - oder die IRI Voracity ETL- und Datenmanagement-Plattform, die sie unterstützt - innerhalb anderer ETL-Tools ausgeführt werden, die auf Unix-, Linux- oder Windows-Hardware laufen.
Optimieren Sie Sortier-, Joint- und Aggregationstransformationen in Inormatica, DataStage, Talend, Pentaho, ODI und anderen Tools mit der SortCL-Engine im CoSort Produkt oder der Voracity-Plattform. Viele SortCL-Aufträge können auch nahtlos in Hadoop ausgeführt werden und werden mit anderen Tools auf API- oder Skriptebene aufgerufen, z.B. in Kalido, ETI, Software AG Natural, SAS und TeraStream.
Verwenden Sie die Metadaten und Workflows die Sie haben und rufen Sie die IRI-Software einfach von Ihrem Tool aus auf, um die Geschwindigkeit zu erhöhen und/oder Entladen, Datentransformationen und Operationen wie:
Sortierungen
Joins
Aggregate
Lookups
Perl-kompatible reguläre Ausdrücke
Datentyp- und Dateiformatkonvertierungen
Feld-/Spaltenverschlüsselung und Maskierung
Detail-, Delta- (CDC) und Summenberichte
Pivoting von Zeilen und Spalten
Slowly Changing Dimensions
Generierung von Testdaten
Sie können IRI-Jobs auch von der Shell aus (als Batch-Ausführung oder ETL-Tool-Befehl) über API oder Eclipse GUI aufrufen und Daten bei Bedarf über Dateien, Pipelines oder Prozeduren hin und her fließen lassen. In der GUI-Umgebung der IRI Workbench können Sie die einzelnen Job-Spezifikationen oder komplette ELT- oder ELT-Flüsse erstellen, die CoSort (und FACT) mit Ihren Quellen und Zielen verbinden.
Erwin (AnalytiX DS) und Meta Integration Model Bridge (MIMB) Software oder Dienste können auch Metadaten, die in gängigen ETL-Tools (wie Informatica''s.xml und DataStage.dsx Repositories) definiert sind in gleichwertige Voracity-Daten- (und/oder Job-) Spezifikationen konvertieren, wenn Sie diese Mappings in Voracity umplatzieren möchten um Geld und Zeit zu sparen. Diese automatische Metadatenreplikation bewahrt Ihre bestehenden Designinvestitionen, erleichtert die Schaffung von Arbeitsplätzen und reduziert die Migrationskosten.
Weltweite Referenzen: Seit über 40 Jahren nutzen weltweit Kunden wie die NASA, American Airlines, Walt Disney, Comcast, Universal Music, Reuters, das Kraftfahrtbundesamt, das Bundeskriminalamt, die Bundesagentur für Arbeit, Rolex, Lufthansa, Mercedes Benz,.. unsere Software für Big Data Wrangling und Schutz! Sie finden viele unserer Referenzen hier mit detaillierten Use Cases.
Partnerschaft mit IRI: Seit 1993 besteht unsere Kooperation mit IRI (Innovative Routines International Inc.) aus Florida, USA. Damit haben wir unser Portfolio um die Produkte CoSort, Voracity, DarkShield, FieldShield, RowGen, NextForm, FACT und CellShield erweitert. Nur die JET-Software besitzt die Vertriebsrechte für diese Produkte für ganz Deutschland. Hier finden Sie weitere Informationen zu unserem Partner IRI Inc.
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX & Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.
Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
Themen in diesem Fachartikel:
Unternehmensinformation / Kurzprofil:
JET-Software entwickelt und vertreibt seit 1986 Software für die Datenverarbeitung für gängige Betriebssysteme wie BS2000/OSD, z/OS, z/VSE, UNIX&Derivate, Linux und Windows. Benötigte Portierungen werden bei Bedarf realisiert.Wir unterstützen weltweit über 20.000 Installationen. Zu unseren langjährigen Referenzen zählen deutsche Bundes- und Landesbehörden, Sozial- und Privatversicherungen, Landes-, Privat- und Großbanken, nationale und internationale Dienstleister, der Mittelstand sowie Großunternehmen.
Datum: 14.04.2020 - 10:15 Uhr
Sprache: Deutsch
News-ID 1808835
Anzahl Zeichen: 0
Kontakt-Informationen:
Ansprechpartner:
Stadt:
Babenhausen
Telefon:
Kategorie:
Softwareindustrie
Anmerkungen:
Dieser Fachartikel wurde bisher 41 mal aufgerufen.
Der Fachartikel mit dem Titel:
"?Legacy ETL Tool Beschleunigung? Filter/Sort/Join/Aggregate: Pentaho 15x schneller, SSIS + DataStage 10x, Informatica 6x und Talend 4x ?
"
steht unter der journalistisch-redaktionellen Verantwortung von
JET-Software GmbH (Nachricht senden)
Beachten Sie bitte die weiteren Informationen zum Haftungsauschluß (gemäß TMG - TeleMedianGesetz) und dem Datenschutz (gemäß der DSGVO).