Créer un data store multimédia

Cette page explique comment créer un data store pour les données multimédias et y importer des données.

Avant de commencer

Assurez-vous de procéder comme suit :

• Passez en revue les concepts liés aux données média et au schéma :

  • À propos des documents média et des datastores

  • Fournir ou détecter automatiquement un schéma

• Déterminez si vous utilisez le schéma Google prédéfini pour vos données média ou votre propre schéma.

• Si vous utilisez votre propre schéma, assurez-vous qu'il comporte des champs qui correspondent bien aux propriétés média du schéma personnalisé : title, url, category, etc.

• Placez vos documents multimédias dans le schéma JSON et importez les données dans BigQuery ou Cloud Storage.

• Consultez À propos des événements utilisateur média et préparez vos événements utilisateur à importer. Les événements utilisateur sont obligatoires pour toutes les applications multimédias.

Choisissez la procédure en fonction de votre source de données

Pour créer un data store multimédia et importer des documents, accédez à la section correspondant à la source que vous prévoyez d'utiliser :

• BigQuery

• Cloud Storage

• Importer des documents à l'aide de l'API

Importer des données depuis BigQuery

Importer depuis Cloud Storage

Importer des documents à l'aide de l'API

Si vous utilisez le schéma prédéfini Google, vous pouvez importer vos documents en envoyant une requête POST à la méthode REST Documents:import, et en utilisant l'objet InlineSource pour spécifier vos données.

Pour obtenir un exemple de format de document JSON, consultez la section Format de document JSON.

Exigences d'importation

Voici les exigences à respecter pour importer des documents multimédias à l'aide de l'API :

• Chaque document doit figurer sur une ligne distincte.

• Le nombre maximal de documents dans une même importation est de 100.

Procédure

Pour importer des documents multimédias à l'aide de l'API, procédez comme suit :

1. Créer un datastore

   curl -X POST \
   -H "Authorization: Bearer $(gcloud auth print-access-token)" \
   -H "Content-Type: application/json" \
   -H "X-Goog-User-Project: PROJECT_ID" \
   "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/collections/default_collection/dataStores?dataStoreId=DATA_STORE_ID" \
   -d '{
     "displayName": "DATA_STORE_DISPLAY_NAME",
     "industryVertical": "MEDIA"
   }'
   

   Remplacez les éléments suivants :

   • PROJECT_ID : ID de votre projet Google Cloud .
   • DATA_STORE_ID : ID du data store Vertex AI Search que vous souhaitez créer. Cet ID ne peut contenir que des lettres minuscules, des chiffres, des traits de soulignement et des traits d'union.
   • DATA_STORE_DISPLAY_NAME : nom à afficher du data store Vertex AI Search que vous souhaitez créer.

2. Créez le fichier JSON de votre document et appelez-le ./data.json :

   {
   "inlineSource": {
   "documents": [
     { DOCUMENT_1 },
     { DOCUMENT_2 }
   ]
   }
   }
   

3. Appelez la méthode POST :

   curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json; charset=utf-8" \
    --data @./data.json \
   "https://discoveryengine.googleapis.com/v1/projects/PROJECT_ID/locations/global/dataStores/DATA_STORE_ID/branches/0/documents:import"

   Remplacez les éléments suivants :

   • PROJECT_ID : par l'ID du projet.
   • DATA_STORE_ID : ID de votre data store.

Format des documents JSON

Les exemples suivants montrent des entrées Document au format JSON.

Fournissez un document entier sur une seule ligne. Chaque document doit figurer sur une ligne distincte.

Champs obligatoires minimum :

{
   "id": "sample-01",
   "schemaId": "default_schema",
   "jsonData": "{\"title\":\"Test document title\",\"categories\":[\"sports > clip\",\"sports > highlight\"],\"uri\":\"http://www.example.com\",\"media_type\":\"sports-game\",\"available_time\":\"2022-08-26T23:00:17Z\"}"
}

Objet complet :

{
   "id": "child-sample-0",
   "schemaId": "default_schema",
   "jsonData": "{\"title\":\"Test document title\",\"description\":\"Test document description\",\"language_code\":\"en-US\",\"categories\":[\"sports > clip\",\"sports > highlight\"],\"uri\":\"http://www.example.com\",\"images\":[{\"uri\":\"http://example.com/img1\",\"name\":\"image_1\"}],\"media_type\":\"sports-game\",\"in_languages\":[\"en-US\"],\"country_of_origin\":\"US\",\"content_index\":0,\"persons\":[{\"name\":\"sports person\",\"role\":\"player\",\"rank\":0,\"uri\":\"http://example.com/person\"},],\"organizations \":[{\"name\":\"sports team\",\"role\":\"team\",\"rank\":0,\"uri\":\"http://example.com/team\"},],\"hash_tags\":[\"tag1\"],\"filter_tags\":[\"filter_tag\"],\"production_year\":1900,\"duration\":\"100s\",\"content_rating\":[\"PG-13\"],\"aggregate_ratings\":[{\"rating_source\":\"imdb\",\"rating_score\":4.5,\"rating_count\":1250}],\"available_time\":\"2022-08-26T23:00:17Z\"}"
}

Surveiller l'importation et afficher les données

1. Pour vérifier l'état de l'ingestion, accédez à la page Datastores, puis cliquez sur le nom de votre datastore pour afficher des informations détaillées sur la page Données.

2. Cliquez sur l'onglet Activité.

   Lorsque la colonne "État" de l'onglet Activité passe de En cours à Importation terminée, l'ingestion est terminée.

   Selon la taille de vos données, l'ingestion peut prendre de quelques minutes ou plusieurs heures.

3. Cliquez sur Documents pour afficher les données que vous avez importées.

Importer des événements utilisateur

Pour importer des événements utilisateur dans votre data store média :

• Suivez les instructions de la section Importer des événements utilisateur historiques.

Étapes suivantes

• Créez une application de recommandations de contenus multimédias ou une application de recherche de contenus multimédias.

• Actualisez les données de vos documents.

  Idéalement, vous devez mettre à jour votre data store quotidiennement en important de nouvelles données. La planification des importations périodiques empêche la qualité du modèle de se dégrader au fil du temps. Vous pouvez utiliser Google Cloud Scheduler pour automatiser les importations.

  Vous pouvez ne mettre à jour que les documents nouveaux ou modifiés, ou importer l'intégralité du data store. Si vous importez des documents qui figurent déjà dans votre data store, ils ne sont pas ajoutés à nouveau. Tous les documents modifiés sont mis à jour.

• Actualisez régulièrement les données de vos événements utilisateur.

  Il est particulièrement important que vos événements utilisateur soient récents. L'application de recommandations cesse de fonctionner s'il n'y a pas assez d'événements utilisateur récents pour répondre aux exigences en matière de données.

  Pour savoir comment importer des données d'événements utilisateur en temps réel, consultez Enregistrer des événements utilisateur en temps réel.

  Pour savoir comment surveiller les exigences concernant les événements utilisateur, consultez Vérifier la qualité des données pour les recommandations de contenus multimédias.