Programmer un transfert Comparaison Shopping Service Center

Ce document explique comment programmer et gérer des tâches de chargement récurrentes pour les données de rapports CSS Center à l'aide du service de transfert de données BigQuery.

Avant de commencer

Avant de créer un transfert de données CSS Center :

  • Activez le service de transfert de données BigQuery.
  • Créez un ensemble de données BigQuery pour stocker les données CSS Center.
    • Pour la région de l'ensemble de données, nous acceptons l'option par défaut, Multirégional, dans les États-Unis ou dans l'UE.
    • Si vous souhaitez créer un ensemble de données dans une région spécifique, le transfert de données CSS Center n'est possible que dans les régions suivantes :
    • us-east4 (Northern Virginia),
    • asia-northeast1 (Tokyo)
    • asia-southeast1 (Singapore)
    • australia-southeast1 (Sydney)
    • europe-north1 (Findland)
    • europe-west2 (London)
    • europe-west6 (Zurich).
  • Pour créer un transfert de données CSS Center, vous devez disposer de votre ID de domaine CSS.
  • Si vous avez l'intention de configurer des notifications d'exécution de transfert pour Pub/Sub, vous devez disposer des autorisations pubsub.topics.setIamPolicy. Les autorisations Pub/Sub ne sont pas nécessaires si vous ne configurez que des notifications par e-mail. Pour en savoir plus, consultez la page Notifications d'exécution du service de transfert de données BigQuery.

Autorisations requises

Assurez-vous que l'utilisateur qui crée le transfert de données dispose des autorisations requises.

Pour BigQuery :

Pour obtenir les autorisations nécessaires pour créer un transfert, demandez à votre administrateur de vous accorder le rôle IAM Administrateur BigQuery (roles/bigquery.admin). Pour en savoir plus sur l'attribution de rôles, consultez la page Gérer l'accès aux projets, aux dossiers et aux organisations.

Ce rôle prédéfini contient les autorisations requises pour créer un transfert. Pour connaître les autorisations exactes requises, développez la section Autorisations requises :

Autorisations requises

Les autorisations suivantes sont requises pour créer un transfert :

  • bigquery.transfers.update sur l'utilisateur
  • bigquery.datasets.get sur l'ensemble de données cible
  • bigquery.datasets.update sur l'ensemble de données cible

Vous pouvez également obtenir ces autorisations avec des rôles personnalisés ou d'autres rôles prédéfinis.

Pour CSS Center :

Vous devez avoir accès au compte CSS Center utilisé dans la configuration du transfert.

Configurer un transfert CSS Center

Pour créer un transfert de données pour les rapports CSS Center :

Console

  1. Accédez à la page "Transferts de données" dans la console Google Cloud .

    Accéder à la page Transferts de données

  2. Cliquez sur Créer un transfert.

  3. Sur la page Créer un transfert :

    • Dans la section Type de source, accédez à la liste déroulante Source, puis sélectionnez Google CSS Center.

    • Dans la section Nom de la configuration de transfert, sous Nom à afficher, saisissez le nom du transfert de données, par exemple My Transfer. Ce nom peut correspondre à n'importe quelle valeur permettant d'identifier le transfert si vous devez le modifier ultérieurement.

      Nom du transfert

    • La section Options de programmation n'est pas configurable. Les transferts de données CSS Center s'exécutent toutes les 24 heures.

    • Dans la section Paramètres de destination, accédez au menu déroulant Ensemble de données de destination, puis sélectionnez l'ensemble de données que vous avez créé pour stocker vos données.

    • Dans la section Détails de la source de données, sous ID CSS, saisissez votre ID de domaine CSS.

    • Sélectionnez le ou les rapports que vous souhaitez transférer. Pour en savoir plus, consultez Rapports acceptés.

    • (Facultatif) Dans la section Options de notification :

      • Cliquez sur le bouton pour activer les notifications par e-mail. Lorsque vous activez cette option, l'administrateur de transfert reçoit une notification par e-mail si l'exécution du transfert échoue.
      • Sous Sélectionnez un sujet Pub/Sub, choisissez le nom de votre sujet ou cliquez sur Créer un sujet. Cette option permet de configurer les notifications d'exécution Pub/Sub pour votre transfert de données.

    Données de transfert de CSS Center

  4. Cliquez sur Enregistrer.

bq

Saisissez la commande bq mk, puis spécifiez l'indicateur de création de transfert --transfer_config. Les paramètres suivants sont également requis :

  • --data_source
  • --target_dataset
  • --display_name
  • --params

Vous pouvez également indiquer l'option --project_id pour spécifier un projet particulier. Si --project_id n'est pas spécifié, le projet par défaut est utilisé.

bq mk \
--transfer_config \
--project_id=project_id \
--target_dataset=dataset \
--display_name=name \
--params='parameters' \
--data_source=data_source

Où :

  • project_id est l'ID de votre projet.
  • dataset est l'ensemble de données cible de la configuration de transfert de données.
  • name est le nom à afficher pour la configuration du transfert de données. Ce nom peut correspondre à toute valeur permettant d'identifier le transfert si vous devez le modifier ultérieurement.
  • parameters contient les paramètres de la configuration de transfert de données créée au format JSON. Exemple : --params='{"param":"param_value"}'.
    • css_id : ID de domaine CSS.
    • export_products : indique si les données du produit et des problèmes de produit doivent être transférées. Ce paramètre est inclus par défaut, même si vous ne spécifiez pas le paramètre export_products. Nous vous recommandons d'inclure ce paramètre explicitement et de le définir sur true.
  • data_source correspond à la source de données : css_center.

Par exemple, la commande suivante crée un transfert de données CSS Center nommé My Transfer avec l'ID de domaine CSS 1234 et l'ensemble de données cible mydataset. Le transfert de données est créé dans votre projet par défaut.

bq mk \
--transfer_config \
--target_dataset=mydataset \
--display_name='My Transfer' \
--params='{"css_id":"1234","export_products":"true","export_regional_inventories":"true","export_local_inventories":"true","export_price_benchmarks":"true","export_best_sellers":"true"}' \
--data_source=css_center

La première fois que vous exécutez la commande, vous recevez un message de ce type :

[URL omitted] Please copy and paste the above URL into your web browser and follow the instructions to retrieve an authentication code.

Suivez les instructions du message et collez le code d'authentification sur la ligne de commande.

API

Utilisez la méthode projects.locations.transferConfigs.create et fournissez une instance de la ressource TransferConfig.