close

In manchen Szenarien ist eine klassische ETL-Lösung mit mehreren Staging/Harmonisierungs-Ebenen nicht realisierbar.

Häufig ist der Grund dafür der Wunsch nach sehr kurzen Latenzzeiten: Damit ist jene Verzögerungszeit gemeint, um Daten vom Vorsystem ins analytische Reporting zu transferieren.

Bei einem Full-Load werden aber die Daten vorher komplett aus der Zieltabelle gelöscht, um diese danach mit den neuesten Daten aus dem Vorsystem erneut zu befüllen.

Die Latenzzeit zwischen Löschen und fertiger Befüllung ist für das Reporting leider problematisch, da keine Daten verfügbar sind.

Um diese Anforderung so gut wie möglich zu bedienen, kommt die „Table-Switching“-ETL-Methode zum Einsatz.

Die Eckpunkte der Lösung:

  • Es gibt für jede Reporting-Tabelle zwei Tabellen:
    • Die originale Tabelle (data.Table), auf die das Reporting abzielt
    • Die Input-Layer-Tabelle (data.Table_in), in welche die Daten transferiert werden
  • Der Full-Load aus dem Vorsystem erfolgt immer in die Input-Layer-Tabelle
  • Wenn alle Input-Layer-Tabellen befüllt sind, dann werden diese 3-stufig auf die originale Tabelle mit dem T-SQL Statement „sp_rename“ umbenannt
    • Zuerst die Input-Layer-Tabelle (data.Table_in) in eine temporäre Tabelle (data.Table_tmp)
    • Dann die originale Tabelle (data.Table) zu (data.Table_in)
    • Dann die temporäre Tabelle wieder zur originalen Tabelle
  • Das Umbenennen geht innerhalb von Millisekunden, wodurch sichergestellt ist, dass nahezu immer Daten für das Reporting vorhanden sind
  • Um das Befüllen noch schneller zu gestalten, können auch Indices behandelt werden
    • Vor dem Laden in die Input-Tabellen werden dort die Indices deaktiviert (alter index idx on data.table disabled)
    • Wenn alle Umbenennungen fertig sind, werden die Indices auf den originalen Tabellen wieder reaktiviert (alter index idx on data.table rebuild)
Tags : BIBusiness IntelligenceHigh Availability SolutionsMicrosoft
Herbert Pataky

The author Herbert Pataky

Herbert Pataky schloss sein Studium im Bereich Software Engineering für Business und Finanz an der FH Hagenberg 2005 mit Auszeichnung ab. Bereits während des Studiums entwickelte Herr Pataky für mittelständische Kunden Individualsoftware zur Optimierung von Geschäftsprozessen und beschäftigte sich eingehend mit verteilten Software Architekturen. Sein berufsbegleitendes Studium Information Engineering und Management an der FH Hagenberg schloss Herr Pataky im Jahr 2008 ebenfalls mit Auszeichnung ab. Herr Pataky ist Spezialist in den Bereichen Business Analytics, Software Solutions und IT Consulting wo er seit mehr als 15 Jahren gemeinsam mit seinem Team sehr erfolgreich Mittelstands- und Großkunden aus dem Automotive-Bereich und Anlagenbau betreut. Er weist profundes Prozessverständnis in der Automobil-Industrie auf und ist Experte in den Bereichen Data Warehouse und Big Data Analytics im Microsoft Umfeld. Herbert ist Gründer & Eigentümer des Unternehmens PASO Solutions.

1 Kommentar

Leave a Response