IA responsável

Este guia descreve os recursos de IA responsável na Vertex AI, as possíveis limitações do modelo e as práticas recomendadas para desenvolver aplicativos de IA generativa com segurança e responsabilidade. Nesta página, abordamos os seguintes tópicos:

  • Filtros e atributos de segurança:saiba mais sobre a filtragem de conteúdo integrada e a pontuação de atributos de segurança disponíveis nas APIs de IA generativa da Vertex AI.
  • Limitações do modelo:entenda as possíveis limitações dos modelos generativos, como alucinações, viés e conhecimento limitado do domínio.
  • Práticas recomendadas:siga as etapas recomendadas para avaliar riscos de segurança, realizar testes de segurança e monitorar seu aplicativo.
  • Denunciar abuso:saiba como denunciar suspeitas de abuso ou conteúdo gerado inadequado.

Ao integrar as APIs generativas ao seu caso de uso e contexto, talvez seja necessário considerar outros fatores e limitações de IA responsável. Para promover a imparcialidade, a interpretabilidade, a privacidade e a segurança, siga as práticas recomendadas.

Filtros e atributos de segurança

Para saber como usar filtros e atributos de segurança em uma API, consulte API Gemini na Vertex AI.

Limitações do modelo

Os modelos de IA generativa têm limitações que você pode encontrar, incluindo:

  • Casos extremos: situações incomuns, raras ou excepcionais que não estão bem representadas nos dados de treinamento. Esses casos podem levar a limitações de desempenho, como excesso de confiança do modelo, interpretação incorreta do contexto ou geração de saídas inadequadas.

  • Alucinações, embasamento e veracidade do modelo: os modelos de IA generativa podem produzir resultados que parecem plausíveis, mas são factualmente incorretos porque não têm conhecimento do mundo real ou uma compreensão precisa das propriedades físicas. Para reduzir as alucinações, você pode fundamentar os modelos nos seus dados específicos. Para saber mais, consulte Visão geral do embasamento.

  • Qualidade e ajuste de dados: a qualidade, a acurácia e o viés do comando ou dos dados de entrada afetam significativamente o desempenho do modelo. Entradas imprecisas ou tendenciosas podem levar a um desempenho abaixo do ideal ou a saídas falsas.

  • Amplificação de vieses: os modelos de IA generativa podem amplificar os vieses atuais dos dados de treinamento, levando a saídas que reforçam os preconceitos sociais e o tratamento desigual de determinados grupos.

  • Qualidade do idioma: o desempenho do modelo pode ser inconsistente em diferentes idiomas, dialetos e variedades linguísticas. Idiomas ou dialetos sub-representados nos dados de treinamento podem ter uma performance menor. Embora os modelos tenham recursos multilíngues impressionantes, a maioria dos comparativos de mercado, incluindo todas as avaliações de imparcialidade, está em inglês. Para mais informações, consulte o blog do Google Research.

  • Comparativos de mercado e subgrupos de imparcialidade: as análises de imparcialidade do Google Research não cobrem todos os riscos potenciais. Por exemplo, as análises se concentram em vieses relacionados a gênero, raça, etnia e religião, mas usam apenas dados e resultados do modelo em inglês. Para mais informações, consulte o blog do Google Research.

  • Conhecimento de domínio limitado: os modelos podem não ter o conhecimento profundo necessário para tópicos altamente especializados ou técnicos, o que pode levar a informações superficiais ou incorretas. Para casos de uso especializados, considere ajustar modelos com dados específicos do domínio e incluir uma supervisão humana significativa, principalmente em contextos que podem afetar direitos individuais.

  • Comprimento e estrutura de entradas e saídas: os modelos têm um limite máximo de tokens (pedaços de palavras) para entradas e saídas. Se a entrada ou a saída excederem esse limite, o modelo não vai aplicar classificadores de segurança, o que pode levar a um desempenho insatisfatório. Além disso, estruturas de dados de entrada incomuns ou complexas podem afetar negativamente a performance.

Para usar essa tecnologia com segurança e responsabilidade, considere os riscos específicos do seu caso de uso, além das salvaguardas técnicas integradas.

Recomendamos que você siga as etapas a seguir:

  1. Analise os riscos de segurança do aplicativo.
  2. Realize testes de segurança adequados ao seu caso de uso.
  3. Configure filtros de segurança, se necessário.
  4. Peça o feedback do usuário e monitore os conteúdos.

Denunciar abuso

Para denunciar suspeitas de abuso do serviço ou de qualquer saída gerada que contenha material inadequado ou informações imprecisas, use o formulário Denunciar suspeita de abuso no Google Cloud.

Outros recursos