Understanding cryptic schemata in large extract-transform-load systems

Más información sobre el libro

Extract-Transform-Load (ETL) Tools sind entscheidend für die Erstellung und Wartung von Data Warehouses, Data Marts und operativen Datenbanken. ETL Workflows füllen diese Systeme mit Daten aus verschiedenen Quellen und bestehen aus mehreren Transformationsschritten, die einen DAG-strukturierten Graphen bilden. Mit der Zeit entstehen zahlreiche individuelle ETL Workflows, um neue Datenquellen zu integrieren oder Anforderungen umzusetzen. Die Wartung großer ETL Systeme erfordert erheblichen Zeitaufwand und manuelle Arbeit. Ein zentrales Problem ist das Verständnis unbekannter Attributnamen in Quell- und Zieldatenbanken sowie ETL Transformationen. Unklare Attributnamen führen zu Frustration und erhöhtem Aufwand bei der Entwicklung und dem Verständnis von ETL Workflows. Wir präsentieren eine Schema Decryption Technik, die ETL Entwicklern hilft, kryptische Schemata in Datenbanken und ETL Transformationen besser zu verstehen. Unser Ansatz berücksichtigt die Vielzahl verknüpfter Attributnamen in bestehenden ETL Workflows und ermöglicht die Identifizierung aussagekräftiger „Decryptions“. Beispielsweise wird für den Attributnamen UNP_PEN_INT die Decryption UNPAIN_PENALTY_INTEREST vorgeschlagen. Unser Ansatz wurde in drei ETL-Repositories evaluiert und zeigte qualitativ hochwertige Decryptions für kryptische Attributnamen.