dbt - data build tool

dbt erstellt Ihren Analytics-Code und führt ihn auf Ihrer Datenplattform aus. So können Sie und Ihr Team gemeinsam an einer „Single Source of Truth“ für Metriken, Insights und Business-Definitionen arbeiten. Diese „Single Source of Truth“ in Kombination mit der Möglichkeit, Tests für Ihre Daten zu definieren, reduziert Fehler bei Logikänderungen und warnt Sie, wenn Schwierigkeiten auftreten.

Was ist dbt?

dbt (data build tool) ist ein Open-Source-Tool, das die Datentransformation vereinfacht, indem es Datenanalysten und -Data Engineers ermöglicht, Daten durch das Schreiben von SQL-Anweisungen zu transformieren, die dann in Tables und Views umgewandelt werden.
dbt ist ein SQL-first-Transformationsworkflow, mit dem Teams schnell und gemeinsam Analytics-Code bereitstellen und dabei Best Practices der Softwareentwicklung wie Modularität, Portabilität, CI/CD und Dokumentation folgen können. Mit dbt kann jeder im Datenteam sicher zu produktionsreifen Datenpipelines beitragen.

Durch die Kombination von modularem SQL mit den best practices im Software-Engineering macht dbt die Datentransformation schnell und zuverlässig. Mit dbt können Datenanalysten Geschäftslogik über SQL schreiben, Datenqualitätstests automatisieren, den Code ausführen und eine Datendokumentation zusammen mit dem Code liefern. Angesichts des Mangels an Data Engineers ist dies bei der Bewältigung großer Datenmengen von entscheidender Bedeutung.

Warum dbt?

dbt optimiert Ihren Arbeitsablauf

Mit dbt vermeiden Sie das Schreiben von Boilerplate-DML und DDL, indem Sie Transaktionen verwalten, Tabellen löschen und Schemaänderungen verwalten. Bei dbt schreiben Sie Business-Logik mit einem SQL-Select-Statement oder einem Python DataFrame, das den benötigten Datensatz zurückgibt, und dbt kümmert sich um die Umsetzung.
Erstellen Sie mit dbt wieder verwendbare oder modulare Datenmodelle, auf die Sie bei nachfolgenden Arbeiten verweisen können, anstatt bei jeder Analyse mit den Rohdaten zu beginnen.
Reduzieren Sie durch dbt die Zeit, welche für die Ausführung Ihrer Abfragen benötigt wird, drastisch: Nutzen Sie Metadaten, um langlaufende Modelle zu finden, die Sie optimieren möchten, und verwenden Sie inkrementelle Modelle, die sich mit dbt einfach konfigurieren und verwenden lassen.
Mit dbt schreiben Sie weniger Code, indem Sie Makros, Hooks und die Paketverwaltung nutzen.

dbt ermöglicht zuverlässigere Analysen

Mit dbt gibt es kein Kopieren und Einfügen von SQL mehr, was bei Logikänderungen zu Fehlern führen kann. Erstellen Sie mit dbt stattdessen wieder verwendbare Datenmodelle, die in nachfolgende Modelle und Analysen einbezogen werden. Bei dbt ändern Sie ein Modell einmal, und die Änderung wird auf alle seine Abhängigkeiten übertragen.
Veröffentlichen Sie bei dbt die kanonische Version eines bestimmten Datenmodells, das die gesamte komplexe Geschäftslogik einschließt. Alle Analysen, die auf diesem Modell aufbauen, enthalten die gleiche Geschäftslogik, ohne dass diese neu implementiert werden muss.
Bei dbt verwenden Sie ausgereifte Versionskontrollprozesse wie Verzweigungen, Pull-Requests und Code-Reviews.
Mit dbt schreiben Sie schnell und einfach Datenqualitätstests für die zugrunde liegenden Daten. Viele Analysefehler werden durch Schwachstellen in den Daten verursacht: dbt Tests helfen den Analysten, diese Schwachstellen zu finden und zu behandeln.

Der Analytics-Engineering-Workflow von dbt

Mit dbt arbeiten Datenteams direkt im Data Warehouse, um verlässliche Datensätze für das Reporting, die Machine Learning Modellierung und operative Workflows zu erstellen.

Warum sollten Sie dbt nutzen?

Über 5.500 Unternehmen nutzen dbt jede Woche (12/2022).

Damit ist dbt inzwischen zum Mainstream geworden. Aber welche Vorteile genau bietet dbt für Unternehmen?

Einfachere Daten-Transformation

Mit dbt können Sie die gesamte Arbeit in SQL erledigen. dbt ermöglicht Datenanalysten, Transformationen über SELECT-Anweisungen zu schreiben. Dadurch ist mit dbt kein Boilerplate-Code mehr erforderlich und Analysten können Daten auch dann transformieren, wenn sie mit anderen Programmiersprachen nicht vertraut sind.

Modularität

Mit dbt können Sie alle Datentransformationen übersichtlich in diskreten Datenmodellen anordnen. Jedes dbt-Modell konvertiert Rohdaten in den Zieldatensatz oder fungiert als Zwischenschritt bei der Konvertierung. dbt ermöglicht es Ihnen, häufig verwendete Geschäftslogik auf kollaborative, versionskontrollierte und schnelle Weise zu organisieren und zu materialisieren.

Automatisiertes Testing

dbt macht das Testen der Datenintegrität ziemlich mühelos. Da dbt es ermöglicht, Jinja mit SQL zu kombinieren, können Sie Ihr dbt-Projekt in eine Programmierumgebung für SQL verwandeln, was Ihnen Dinge ermöglicht, die Sie normalerweise in SQL nicht tun können (z.B. die Verwendung von Kontrollstrukturen und Umgebungsvariablen). dbt ermöglicht auch die Anwendung eines Tests auf eine bestimmte Spalte, indem Sie diese einfach unter derselben YAML-Datei referenzieren.

Analytics as Code

Da dbt mit Git integriert ist, kann jeder neue Code sicher getestet, überprüft und dokumentiert werden, bevor er in den Master-Zweig integriert wird. Das bedeutet, dass das Risiko, bei der Arbeit an etwas Neuem versehentlich eine Produktionstabelle zu überschreiben oder zu verändern, sehr viel geringer ist.

dbt cloud, ein gehosteter Service, der dabei hilft, dbt-Implementierungen in die Produktion zu bringen, bietet Ihnen kontinuierliche Integration. Dies ermöglicht eine kontinuierliche Bereitstellung und einen geringeren Zeitaufwand für Tests. Dies ist möglich, da mit dbt cloud nicht mehr das gesamte Repository gepusht werden muss, wenn Änderungen implementiert werden sollen. Stattdessen werden nur die Komponenten angesprochen, die geändert werden müssen. Mit dbt cloud und Git zusammen können Sie Pipelines für die kontinuierliche Integration automatisieren und so Zeit bei der Verwaltung sparen und den Prozess vereinfachen.

Einfachere Datenaktualisierung und Qualitätsprüfungen

In der dbt cloud müssen Sie kein Orchestrierungstool hosten. Es verfügt über eine Funktion, die die Planung von Produktionsaktualisierungen in dem von Ihnen gewünschten Tempo oder der gewünschten Häufigkeit vollständig automatisiert.

dbt bietet auch mehrere Möglichkeiten, Datenqualitätsprüfungen zu erstellen und durchzusetzen. Sie können Datenintegritätsprüfungen erstellen, wenn Sie die Dokumentation für ein bestimmtes Modell erstellen. Außerdem bietet es eine Funktion zur Erstellung benutzerdefinierter Datentests, die von der Geschäftslogik gesteuert werden. Schließlich ermöglicht es Ihnen, Snapshot-Tabellen zu erstellen, die Änderungen an den Daten verfolgen. Diese Methode ist besonders hilfreich, wenn es um veränderliche Daten geht, da Sie vollen Zugriff auf alle zuvor vorgenommenen Änderungen in den Quelldaten haben.

Bessere Dokumentationen

dbt automatisiert die Erstellung von Dokumentation zu Beschreibungen, Modellabhängigkeiten, Modell-SQL, Quellen und Tests. Die Dokumentation zeigt vorhandene Modelle, relevante Datenbankobjekte und detaillierte Informationen zu jedem Modell an.

dbt macht die Datendokumentation durch die erzeugten Lineage-Graphen transparent und sichtbar. dbt stellt die Dokumentation für das Projekt in seiner Web-App dar und enthält Informationen über das Projekt (Modellcode, Projekt-DAG, zu einer Column hinzugefügte Tests) und das Data Warehouse (Column-Datentypen, table-Größen).

Wie funktioniert dbt?

Versionskontrolle und CI/CD
Sicheres Deployment mit Entwicklungsumgebungen. Git-fähige Versionskontrolle ermöglicht die Zusammenarbeit und eine Rückkehr zu früheren Zuständen.

Testing und Dokumentation
Testen Sie jedes Modell vor der Produktion, und geben Sie die dynamisch generierte Dokumentation an alle Stakeholder weiter.

Development
Schreiben Sie modulare Datentransformationen in .sql- oder .py-Dateien – dbt übernimmt die Verwaltung der Abhängigkeiten.

Der neue Standard für Datentransformation: dbt

Mit dbt schneller entwickeln

Mit dbt ersetzen Sie Standard-DDL/DML durch einfache SQL SELECT-Anweisungen, die Abhängigkeiten ableiten, Tabellen und Ansichten erstellen und Modelle der Reihe nach ausführen. Entwickeln Sie Code, der sich selbst schreibt, mit Makros, ref-Anweisungen und Befehlen zur automatischen Vervollständigung in der Cloud IDE. Nutzen Sie Python-Pakete, um komplexe Analysen zu beschleunigen.

Mit dbt arbeiten Alle mit den gleichen Grundlagen

Die vorgefertigten und benutzerdefinierten Tests von dbt helfen Entwicklern, einen „Paper-Trail“ mit validierten Annahmen für Datenmitarbeiter zu erstellen. Automatisch generierte Abhängigkeitsdiagramme und dynamische Datenwörterbücher fördern das Vertrauen und die Transparenz für Datenkonsumenten.

Zuverlässige Bereitstellung mit dbt

Integrieren Sie Überwachungsmöglichkeiten in Transformations-Workflows mit In-App-Planung, Protokollierung und Alarmierung. Schutzrichtlinien für Zweige stellen sicher, dass Daten durch geregelte Prozesse laufen, einschließlich Entwicklungs-, Entwicklungs- und Produktionsumgebungen, die bei jedem CI-Lauf erzeugt werden.

Beseitigen Sie Datensilos mit dbt

Jetzt kann Ihr Data-Science-Team Modelle erstellen, die mit denen des Analyseteams verbunden sind, wobei jeder die von ihm bevorzugte Sprache verwendet. dbt unterstützt die Modellierung in SQL oder Python und ermöglicht so einen gemeinsamen Arbeitsbereich für alle, die an analytischem Code arbeiten.

Sicherheit

Verwalten Sie Risiken mit Compliance nach SOC-2, CI/CD-Bereitstellung, RBAC und ELT-Architektur.

Governance

Beseitigen Sie Zweifel an den Daten durch Versionskontrolle, Tests, Protokollierung und Warnmeldungen. Erstellen Sie Momentaufnahmen von Änderungen im Laufe der Zeit und bieten Sie offenen Zugang zu der gehosteten Dokumentation.

dbt cloud Enterprise

Sicherheit und Unterstützung, die skalierbar ist

Mit dbt cloud Enterprise ermöglichen Sie es allen Mitgliedern Ihres Datenteams, zur Transformation beizutragen – der sichersten, zuverlässigsten und zugänglichsten Methode zur Erstellung und Pflege von Organisationswissen.

Die Success-Story von JetBlue zeigt, wie technische Engpässe mit dbt Cloud Enterprise und Snowflake beseitigt werden.

„The new workflow with dbt and Snowflake isn’t a small improvement. It’s a complete redesign of our entire approach to data that will establish a new strategic foundation for analysts at JetBlue to build on.“

„I didn’t pick Snowflake and dbt for cost purposes. I picked them because they are best-in-class data infrastructure tools,“

Ben Singleton, Director of Data Science & Analytics at JetBlue

Datenquality Tests durchgeführt

100

Verfügbarkeit des Data Warehouse und der Pipelines von 99,9 %.

0 %

Reduzierung der Wartungsfenster auf Null

8 Std.

Anstieg der Gesamtbetriebskosten

50 €

Mit dbt die Datenqualität und das Vertrauen unternehmensweit erhalten

Mit geschäftlichen Veränderungen Schritt halten

Automatisiertes Abhängigkeitsmanagement

Teams mit veralteten Datenarchitekturen sehen sich erheblichen Beeinträchtigungen ausgesetzt, wenn sich Datenstrukturen ändern. Mit dbt Cloud Enterprise können Sie Upstream-Modelle in Sekundenschnelle sicher aktualisieren. Protokollierung und gemeinsame Nutzung von Änderungen für einfache Prüfung und Transparenz.

Git-basierte Versionskontrolle

Nutzen Sie den Git-Anbieter Ihrer Wahl für die sichere Zusammenarbeit an gemeinsam genutzten Repositories ohne Duplizierung oder Unterbrechung der bisherigen Arbeit. Prüfen Sie den Code, führen Sie ihn zusammen und stellen Sie ihn in Produktion, indem Sie bewährte Versionskontrollverfahren verwenden, die auf Geschwindigkeit und Qualität ausgerichtet sind.

Erfüllung von Sicherheits- und Compliance-Anforderungen

SSO & RBAC
Nutzen Sie den Identitätsanbieter Ihrer Wahl und wenden Sie rollenbasierte Zugriffsberechtigungen für einen schnelleren und sichereren Zugang zur dbt Cloud an.

Regionale Bereitstellungsoptionen
Hosten Sie Ihre mandantenfähige dbt Cloud-Instanz in einer benutzerdefinierten Bereitstellungsregion, um die Einhaltung von Vorschriften zur Datenresidenz sicherzustellen.

Audit-Protokollierung
Verfolgen Sie die Änderungen an Benutzern, Gruppen, Verbindungen, Aufträgen und Projekten und exportieren Sie die Protokolle für langfristige Sicherheitsanforderungen.

Mehrere Netzwerkoptionen
Sichern Sie den Verbindungsverkehr zwischen der dbt Cloud und Ihrem DWH mit erweiterten Netzwerkoptionen wie AWS und Azure PrivateLink.

Mit dbt das gesamte Datenteam in wenigen Tagen onboarden

Experten-Schulung
dbt Cloud Enterprise-Kund*innen haben exklusiven Zugang zu Produkt- und Prozessschulungen durch erfahrene Analytik-Engineers. Live-Workshops verringern den Zeitaufwand und verbessern die Zusammenarbeit.

Webbasierte IDE
Die Befehlszeile sollte kein Hindernis für die Transformation sein. Die intuitive browserbasierte IDE von dbt Cloud zentralisiert die Entwicklung. Außerdem müssen sich IT-Teams keine Gedanken über lokale Installationen machen.

Mit dbt transformieren Sie Ihre Daten dort, wo sie sind!

Egal, ob Ihre Analysedaten in einem Cloud-Warehouse, Data Lake oder Data Lakehouse gespeichert sind – mit dbt können Sie sie transformieren, testen und dokumentieren.

Hier geht es zur kompletten Übersicht der unterstützten Datenplattformen.

Mit den areto dbt-Expert*innen zur data driven company!

Überholen Sie den Wettbewerb durch schnellere und bessere Entscheidungen!

Finden Sie heraus, wo Ihr Unternehmen aktuell auf dem Weg zur data-driven-company steht.
Wir analysieren den Status Quo und zeigen Ihnen, welche Potenziale vorhanden sind.
Wie wollen Sie starten?

kostenfreie Beratung & Demotermine

Haben Sie schon eine Strategie für Ihre zukünftige Data Analytics-Lösung? Nutzen Sie bereits die Vorteile moderner Cloudplattformen und Automatisierungen? Gern zeigen wir Ihnen Beispiele, wie unsere Kund*innen die agilen und skalierbaren Data Architecture-Lösungen von areto bereits nutzen.

Workshops / Coachings

Sie erhalten in unseren Workshops und Coachings das nötige Know-how für den Aufbau einer modernen Datenarchitektur. Das areto TrainingCenter bietet eine breite Auswahl an Lerninhalten.

Proof of Concepts

Welche Daten-Architektur ist für uns richtig? Sind die Rahmenbedingungen dafür geeignet? Welche Voraussetzungen müssen geschaffen werden? Proof of Concepts (POCs) beantworten, diese und weitere Fragen, um dann die richtigen Investitionsentscheidungen zu treffen. So starten Sie bestens vorbereitet in Ihr Projekt.

dbt - data build tool

Was ist dbt?

Warum dbt?

Der Analytics-Engineering-Workflow von dbt

Mit dbt arbeiten Datenteams direkt im Data Warehouse, um verlässliche Datensätze für das Reporting, die Machine Learning Modellierung und operative Workflows zu erstellen.

Warum sollten Sie dbt nutzen?

Wie funktioniert dbt?

Der neue Standard für Datentransformation: dbt

Mit dbt schneller entwickeln

Mit dbt arbeiten Alle mit den gleichen Grundlagen

Zuverlässige Bereitstellung mit dbt

Beseitigen Sie Datensilos mit dbt

dbt cloud Enterprise

Die Success-Story von JetBlue zeigt, wie technische Engpässe mit dbt Cloud Enterprise und Snowflake beseitigt werden.

Mit dbt die Datenqualität und das Vertrauen unternehmensweit erhalten

Mit geschäftlichen Veränderungen Schritt halten

Erfüllung von Sicherheits- und Compliance-Anforderungen

Mit dbt das gesamte Datenteam in wenigen Tagen onboarden

Mit dbt transformieren Sie Ihre Daten dort, wo sie sind!

Überholen Sie den Wettbewerb durch schnellere und bessere Entscheidungen!

dbt Know-how Videothek

Get the right role granted to you in Snowflake

Set up your production environment & schedule a job in dbt Cloud Snowflake

Connect your GitHub
to dbt Cloud

Configure Snowflake for dbt Cloud

Configure GitHub for dbt Cloud

Set up your folders by data maturity

Nutzen Sie Ihre Daten. Entdecken Sie Chancen. Gewinnen Sie neue Erkenntnisse.

Wir freuen uns auf Ihren Kontakt!

areto Blog

Expertise

Expertise

Informationen

dbt - data build tool

Was ist dbt?

Warum dbt?

Der Analytics-Engineering-Workflow von dbt

Mit dbt arbeiten Datenteams direkt im Data Warehouse, um verlässliche Datensätze für das Reporting, die Machine Learning Modellierung und operative Workflows zu erstellen.

Warum sollten Sie dbt nutzen?

Wie funktioniert dbt?

Der neue Standard für Datentransformation: dbt

Mit dbt schneller entwickeln

Mit dbt arbeiten Alle mit den gleichen Grundlagen

Zuverlässige Bereitstellung mit dbt

Beseitigen Sie Datensilos mit dbt

dbt cloud Enterprise

Die Success-Story von JetBlue zeigt, wie technische Engpässe mit dbt Cloud Enterprise und Snowflake beseitigt werden.

Mit dbt die Datenqualität und das Vertrauen unternehmensweit erhalten

Mit geschäftlichen Veränderungen Schritt halten

Erfüllung von Sicherheits- und Compliance-Anforderungen

Mit dbt das gesamte Datenteam in wenigen Tagen onboarden

Mit dbt transformieren Sie Ihre Daten dort, wo sie sind!

Überholen Sie den Wettbewerb durch schnellere und bessere Entscheidungen!

dbt Know-how Videothek

Get the right role granted to you in Snowflake

Set up your production environment & schedule a job in dbt Cloud Snowflake

Connect your GitHub to dbt Cloud

Configure Snowflake for dbt Cloud

Configure GitHub for dbt Cloud

Set up your folders by data maturity

Nutzen Sie Ihre Daten. Entdecken Sie Chancen. Gewinnen Sie neue Erkenntnisse.

Wir freuen uns auf Ihren Kontakt!

areto Blog

Expertise

Expertise

Informationen

Connect your GitHub
to dbt Cloud