Datenquelle deklarieren

In diesem Dokument wird beschrieben, wie Sie BigQuery-Datenquellen mit Dataform Core deklarieren.

Sie können jeden BigQuery-Tabellentyp als Datenquelle in Dataform deklarieren. Wenn Sie BigQuery-Datenquellen deklarieren, die sich außerhalb von Dataform befinden, können Sie diese Datenquellen als Dataform-Objekte behandeln.

Das Deklarieren von Datenquellen ist optional, kann aber in folgenden Fällen nützlich sein:

  • Sie können auf deklarierte Quellen genauso wie auf jede andere Tabelle in Dataform verweisen oder sie auflösen.
  • Deklarierte Quellen im visualisierten Dataform-Diagramm ansehen
  • Mit Dataform können Sie die Beschreibungen auf Tabellen- und Spaltenebene von extern erstellten Tabellen verwalten.
  • Workflow-Aufrufe auslösen, die alle abhängigen Elemente einer externen Datenquelle enthalten.

Sie können Datenquellen mit JavaScript- oder SQLX-Dateien deklarieren. In einer JavaScript-Datei können Sie mehrere Datenquellen pro Datei deklarieren. In einer SQLX-Datei können Sie eine Datenquelle pro Datei deklarieren.

Hinweise

Bevor Sie eine Datenquelle deklarieren, erstellen und initialisieren Sie einen Entwicklungsarbeitsbereich in Ihrem Repository.

Erforderliche Rollen

Bitten Sie Ihren Administrator, Ihnen für Arbeitsbereiche die IAM-Rolle Dataform Editor (roles/dataform.editor) zuzuweisen, damit Sie die Berechtigungen erhalten, die Sie zum Deklarieren einer Datenquelle benötigen. Weitere Informationen zum Zuweisen von Rollen finden Sie unter Zugriff auf Projekte, Ordner und Organisationen verwalten.

Sie können die erforderlichen Berechtigungen auch über benutzerdefinierte Rollen oder andere vordefinierte Rollen erhalten.

JavaScript-Datei für mehrere Datenquellendeklarationen erstellen

Speichern Sie JavaScript-Dateien für Datenquellendeklarationen im Verzeichnis definitions/. So erstellen Sie eine neue JavaScript-Datei im Verzeichnis definitions/:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zur Dataform-Seite

  2. Wählen Sie ein Repository aus.

  3. Wählen Sie einen Entwicklungsarbeitsbereich aus.

  4. Klicken Sie im Bereich Dateien neben definitions/ auf das Menü Mehr.

  5. Klicken Sie auf Datei erstellen.

  6. Führen Sie im Bereich Neue Datei erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Dateipfad hinzufügen nach definitions/ den Namen der Datei gefolgt von .js ein. Beispiel: definitions/declarations.js.

      Dateinamen dürfen nur Zahlen, Buchstaben, Bindestriche und Unterstriche enthalten.

    2. Klicken Sie auf Datei erstellen.

Deklaration zu einer JavaScript-Datei hinzufügen

Sie können mehrere Datenquellen pro JavaScript-Datei deklarieren. So fügen Sie eine neue Erklärung hinzu:

  1. Klicken Sie in Ihrem Entwicklerarbeitsbereich im Bereich Dateien auf Ihre JavaScript-Datei für Datenquellendeklarationen.

  2. Fügen Sie in der Datei für jede Datenquelle das folgende Code-Snippet hinzu:

      declare({
    database: "DATABASE_PROJECT_ID",
    schema: "BIGQUERY_SCHEMA",
    name: "RELATION_NAME",
  });

    Ersetzen Sie Folgendes:

    • DATABASE_PROJECT_ID: Die Projekt-ID des Projekts, das die Datenquelle enthält.
    • BIGQUERY_SCHEMA: Das BigQuery-Dataset, in dem sich die Datenquelle befindet.
    • RELATION_NAME: der Name der Tabelle oder Ansicht, die Sie als Datenquelle verwenden möchten. Sie können diesen Namen später verwenden, um in Dataform auf die Datenquelle zu verweisen.

SQLX-Datei für die Deklaration von Datenquellen erstellen

Speichern Sie SQLX-Dateien für Datenquellendeklarationen im Verzeichnis definitions/. So erstellen Sie eine neue SQLX-Datei im Verzeichnis definitions/:

  1. Rufen Sie in der Google Cloud Console die Seite Dataform auf.

    Zur Dataform-Seite

  2. Wählen Sie ein Repository aus.

  3. Wählen Sie einen Entwicklungsarbeitsbereich aus.

  4. Klicken Sie im Bereich Dateien neben definitions/ auf das Menü Mehr.

  5. Klicken Sie auf Datei erstellen.

  6. Führen Sie im Bereich Neue Datei erstellen die folgenden Schritte aus:

    1. Geben Sie im Feld Dateipfad hinzufügen nach definitions/ den Namen der Datei gefolgt von .sqlx ein. Beispiel: definitions/dataset-declaration.sqlx.

      Dateinamen dürfen nur Zahlen, Buchstaben, Bindestriche und Unterstriche enthalten.

    2. Klicken Sie auf Datei erstellen.

Datenquelle deklarieren

Sie können eine Datenquelle pro SQLX-Deklarationsdatei deklarieren. So deklarieren Sie eine Datenquelle im Konfigurationsblock einer SQLX-Datei:

  1. Klicken Sie in Ihrem Entwicklerarbeitsbereich im Bereich Dateien auf Ihre SQLX-Datei für die Datenquellendeklaration.

  2. Geben Sie in die Datei das folgende Code-Snippet ein:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    Ersetzen Sie Folgendes:

    • DATABASE: Die Projekt-ID des Projekts, das die Datenquelle enthält.
    • SCHEMA: Das BigQuery-Dataset, in dem sich die Datenquelle befindet.
    • NAME: der Name der Tabelle oder Ansicht, die Sie als Datenquelle verwenden möchten. Sie können diesen Namen später verwenden, um in Dataform auf die Datenquelle zu verweisen.

  3. Optional: Klicken Sie auf Formatieren.

Das folgende Codebeispiel zeigt eine Beispieldeklaration der Tabelle shakespeare im Dataset samples des Projekts bigquery-public-data als Datenquelle:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

Nächste Schritte