Dichiarare un'origine dati

Questo documento mostra come dichiarare le origini dati BigQuery con Dataform Core.

Puoi dichiarare qualsiasi tipo di tabella BigQuery come origine dati in Dataform. La dichiarazione di origini dati BigQuery esterne a Dataform consente di trattarle come oggetti Dataform.

La dichiarazione delle origini dati è facoltativa, ma può essere utile quando vuoi:

  • Fai riferimento alle origini dichiarate o risolvile nello stesso modo di qualsiasi altra tabella in Dataform.
  • Visualizza le origini dichiarate nel grafico Dataform visualizzato.
  • Utilizza Dataform per gestire le descrizioni a livello di tabella e colonna delle tabelle create esternamente.
  • Attiva le chiamate del flusso di lavoro che includono tutte le dipendenze di un'origine dati esterna.

Puoi dichiarare le origini dati utilizzando file JavaScript o SQLX. In un file JavaScript, puoi dichiarare più origini dati per file. In un file SQLX puoi dichiarare un'origine dati per file.

Prima di iniziare

Prima di dichiarare un'origine dati, crea e inizializza un workspace di sviluppo nel repository.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per dichiarare un'origine dati, chiedi all'amministratore di concederti il ruolo IAM Editor Dataform (roles/dataform.editor) negli spazi di lavoro. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Crea un file JavaScript per più dichiarazioni di origini dati

Archivia i file JavaScript per le dichiarazioni delle origini dati nella directory definitions/. Per creare un nuovo file JavaScript nella directory definitions/:

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona un repository.

  3. Seleziona un'area di lavoro di sviluppo.

  4. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro.

  5. Fai clic su Crea file.

  6. Nel riquadro Crea nuovo file:

    1. Nel campo Aggiungi un percorso del file, dopo definitions/, inserisci il nome del file seguito da .js. Ad esempio, definitions/declarations.js.

      I nomi dei file possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Fai clic su Crea file.

Aggiungere una dichiarazione a un file JavaScript

Puoi dichiarare più origini dati per file JavaScript. Per aggiungere una nuova dichiarazione:

  1. Nello spazio di lavoro di sviluppo, nel riquadro File, fai clic sul file JavaScript per le dichiarazioni dell'origine dati.

  2. Nel file, per ogni origine dati, aggiungi il seguente snippet di codice:

      declare({
    database: "DATABASE_PROJECT_ID",
    schema: "BIGQUERY_SCHEMA",
    name: "RELATION_NAME",
  });

    Sostituisci quanto segue:

    • DATABASE_PROJECT_ID: l'ID progetto del progetto che contiene l'origine dati.
    • BIGQUERY_SCHEMA: il set di dati BigQuery in cui esiste l'origine dati.
    • RELATION_NAME: il nome della tabella o della vista che vuoi utilizzare come origine dati. Puoi utilizzare questo nome in un secondo momento per fare riferimento all'origine dati in Dataform.

Crea un file SQLX per la dichiarazione dell'origine dati

Archivia i file SQLX per le dichiarazioni delle origini dati nella directory definitions/. Per creare un nuovo file SQLX nella directory definitions/:

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai alla pagina Dataform

  2. Seleziona un repository.

  3. Seleziona un'area di lavoro di sviluppo.

  4. Nel riquadro File, accanto a definitions/, fai clic sul menu Altro.

  5. Fai clic su Crea file.

  6. Nel riquadro Crea nuovo file:

    1. Nel campo Aggiungi un percorso del file, dopo definitions/, inserisci il nome del file seguito da .sqlx. Ad esempio, definitions/dataset-declaration.sqlx.

      I nomi dei file possono includere solo numeri, lettere, trattini e trattini bassi.

    2. Fai clic su Crea file.

Dichiarare un'origine dati

Puoi dichiarare un'origine dati per ogni file di dichiarazione SQLX. Per dichiarare un'origine dati nel blocco di configurazione di un file SQLX:

  1. Nell'area di lavoro di sviluppo, nel riquadro File, fai clic sul file SQLX per la dichiarazione dell'origine dati.

  2. Nel file, inserisci il seguente snippet di codice:

    config {
  type: "declaration",
  database: "DATABASE",
  schema: "SCHEMA",
  name: "NAME",
}

    Sostituisci quanto segue:

    • DATABASE: l'ID progetto del progetto che contiene l'origine dati.
    • SCHEMA: il set di dati BigQuery in cui esiste l'origine dati.
    • NAME: il nome della tabella o della vista che vuoi utilizzare come origine dati. Puoi utilizzare questo nome in un secondo momento per fare riferimento all'origine dati in Dataform.

  3. (Facoltativo) Fai clic su Formato.

Il seguente esempio di codice mostra una dichiarazione di esempio della tabella shakespeare nel set di dati samples del progetto bigquery-public-data come origine dati:

    config {
      type: "declaration",
      database: "bigquery-public-data",
      schema: "samples",
      name: "shakespeare",
    }

Passaggi successivi