Utiliser l'outil de reformulation de requêtes

Essayer la génération d'images (Vertex AI Studio)

Essayer Imagen dans Colab

Pour vous aider à rédiger des requêtes plus efficaces, Imagen sur Vertex AI propose un outil de réécriture de requêtes basé sur un LLM. Le réécrivain de requêtes ajoute des détails à votre requête pour vous aider à générer des images de meilleure qualité. Par exemple, si vous fournissez la requête "un chien qui court", le réécriveur de requêtes peut l'améliorer en "une photo de haute qualité d'un golden retriever courant joyeusement dans un champ vert par une journée ensoleillée".

Cette page vous explique comment utiliser le réécriveur de requêtes pour améliorer vos requêtes de génération d'images avec la console Google Cloud ou l'API REST.

La désactivation du réécriveur de requêtes peut avoir un impact sur la qualité des images générées et sur leur correspondance avec votre requête. Cette fonctionnalité est activée par défaut pour les versions de modèle suivantes :

  • imagen-4.0-generate-preview-06-06 (Preview)
  • imagen-4.0-fast-generate-preview-06-06 (Preview)
  • imagen-4.0-ultra-generate-preview-06-06 (Preview)
  • imagen-3.0-generate-002

La réponse de l'API inclut la requête reformulée uniquement si votre requête d'origine contient moins de 30 mots.

Utiliser l'outil de reformulation de requêtes

Pour utiliser le réécriveur de requêtes :

Console

  1. Dans la console Google Cloud , accédez à la page Vertex AI>Media Studio.

    Accéder à Media Studio

  2. Cliquez sur Imagen. La page de génération d'images d'Imagen Media Studio s'affiche.

  3. Dans le panneau Paramètres, ajustez les options suivantes :

    • Modèle : sélectionnez un modèle parmi les options disponibles.

      Pour en savoir plus sur les modèles disponibles, consultez Modèles Imagen.

    • Nombre de résultats : ajustez le curseur ou saisissez une valeur comprise entre 1 et 4.

    • Dans la zone Requête négative, saisissez une requête décrivant ce que vous ne souhaitez pas voir dans l'image.

  4. Dans la zone Saisissez votre requête, cliquez sur M'aider à écrire.

    La fenêtre Améliorer mon prompt s'affiche.

  5. Dans la zone Requête actuelle, rédigez votre requête, puis cliquez sur Améliorer.

    La requête réécrite s'affiche dans la zone Requête améliorée. Vous pouvez modifier la requête améliorée ou l'utiliser telle quelle.

  6. Cliquez sur Insérer pour utiliser la requête affichée.

    La requête est insérée dans la zone Écrivez votre requête.

  7. Cliquez sur Générer.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • PROJECT_ID : ID de votre projet Google Cloud .
  • MODEL_VERSION : version du modèle de génération d'images à utiliser.

    Pour en savoir plus sur les versions et les fonctionnalités des modèles, consultez Versions de modèles.

  • LOCATION : région de votre projet. (us-central1, europe-west2 ou asia-northeast3, par exemple). Pour obtenir la liste des régions disponibles, consultez IA générative sur les emplacements Vertex AI.
  • TEXT_PROMPT : la requête textuelle qui guide le modèle pour la génération d'images. Avant la génération des images, cette requête de base est améliorée avec un langage plus détaillé et descriptif à l'aide de l'outil de reformulation de requête basé sur un LLM.
  • IMAGE_COUNT : nombre d'images générées. Valeurs entières acceptées : 1 à 4. Valeur par défaut : 4.
  • enhancePrompt : valeur booléenne permettant d'activer l'amélioration des requêtes basée sur un LLM. Par défaut, cette valeur est définie sur true.

Méthode HTTP et URL :

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_VERSION:predict

Corps JSON de la requête :

{
  "instances": [
    {
      "prompt": "TEXT_PROMPT"
    }
  ],
  "parameters": {
    "sampleCount": IMAGE_COUNT,
    "enhancePrompt": true
  }
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

curl -X POST \
-H "Authorization: Bearer $(gcloud auth print-access-token)" \
-H "Content-Type: application/json; charset=utf-8" \
-d @request.json \
"https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_VERSION:predict"

PowerShell

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
-Method POST `
-Headers $headers `
-ContentType: "application/json; charset=utf-8" `
-InFile request.json `
-Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_VERSION:predict" | Select-Object -Expand Content
Lorsque l'amélioration des requêtes est activée, la réponse inclut un champ prompt supplémentaire qui affiche la requête améliorée et l'image générée qui lui est associée :
  {
    "predictions": [
      {
        "mimeType": "MIME_TYPE",
        "prompt": "ENHANCED_PROMPT_1",
        "bytesBase64Encoded": "BASE64_IMG_BYTES_1"
      },
      {
        "mimeType": "MIME_TYPE",
        "prompt": "ENHANCED_PROMPT_2",
        "bytesBase64Encoded": "BASE64_IMG_BYTES_2"
      }
    ]
  }

Par exemple, l'exemple de réponse suivant concerne une requête avec "sampleCount": 2 et "prompt": "A raccoon wearing formal clothes, wearing a top hat. Oil painting in the style of Vincent Van Gogh.". La réponse renvoie deux objets de prédiction, chacun avec leur requête améliorée et les octets d'image générés encodés en base64.

{
  "predictions": [
    {
      "mimeType": "image/png",
      "prompt": "An oil painting in the style of Vincent van Gogh, depicting a raccoon adorned
        in a finely tailored tuxedo, complete with a crisp white shirt and a bow tie. The raccoon
        also sports a classic top hat, perched jauntily on its head. The painting uses thick,
        swirling brushstrokes characteristic of van Gogh, with vibrant hues of blue, yellow, and
        green in the background, contrasting with the dark tones of the raccoon's attire. The light
        source is subtly placed, casting a dramatic shadow of the raccoon's attire onto the surface
        it sits upon, further enhancing the depth and dimensionality of the composition. The
        overall impression is one of a whimsical and sophisticated character, a raccoon elevated to
        a higher class through its formal attire, rendered in van Gogh's iconic style.",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    },
    {
      "mimeType": "image/png",
      "prompt": "An oil painting in the style of Vincent van Gogh featuring a raccoon in a
        dapper suit, complete with a black jacket, crisp white shirt, and a black bow tie. The
        raccoon is wearing a black top hat, adding a touch of elegance to its ensemble. The
        painting is rendered with characteristic van Gogh brushwork, utilizing thick, impasto
        strokes of color. The background is a swirl of blues, greens, and yellows, creating a
        vibrant yet slightly chaotic atmosphere that contrasts with the raccoon's formal attire.
        The lighting is dramatic, casting sharp shadows and highlighting the textures of the fabric
        and the raccoon's fur, enhancing the sense of realism within the fantastical scene. The
        composition focuses on the raccoon's proud posture, highlighting the whimsical contrast of
        a wild animal dressed in formal attire, captured in the unique artistic language of van
        Gogh. ",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    }
  ]
}

Étapes suivantes