Esegui query e analizza i log con Log Analytics

Questo documento descrive come eseguire query e analizzare i dati dei log archiviati nei bucket di log di cui è stato eseguito l'upgrade per utilizzare Analisi dei log. Puoi eseguire query sui log in questi bucket utilizzando SQL, che ti consente di filtrare e aggregare i log. Puoi anche creare query senza scrivere manualmente query SQL utilizzando Query Builder. Per visualizzare i risultati della query, puoi utilizzare il formato tabellare oppure visualizzare i dati con i grafici. Queste tabelle e questi grafici possono essere salvati nelle dashboard personalizzate.

Puoi eseguire query su una vista dei log in un bucket di log o su una vista di analisi. Quando esegui una query su una visualizzazione log, lo schema corrisponde a quello della struttura dei dati LogEntry. Poiché il creatore di una vista di Analytics determina lo schema, un caso d'uso delle viste di Analytics è la trasformazione dei dati di log dal formato LogEntry in un formato più adatto alle tue esigenze.

Puoi utilizzare Esplora log per visualizzare le voci di log archiviate nei bucket di log del tuo progetto, indipendentemente dal fatto che sia stato eseguito l'upgrade del bucket di log per utilizzare l'analisi dei log.

Log Analytics non deduplica le voci di log, il che potrebbe influire sul modo in cui scrivi le query. Inoltre, esistono alcune limitazioni per l'utilizzo di Log Analytics. Per saperne di più su questi argomenti, consulta i seguenti documenti:

Informazioni sui set di dati collegati

Log Analytics supporta la creazione di set di dati BigQuery collegati, che consentono a BigQuery di accedere in lettura ai dati sottostanti. Se scegli di creare un set di dati collegato, puoi:

Questo documento non descrive come creare un set di dati collegato o come configurare Log Analytics per eseguire query sugli slot riservati. Se ti interessano questi argomenti, consulta Eseguire una query su un set di dati collegato in BigQuery.

Prima di iniziare

Questa sezione descrive i passaggi che devi completare prima di poter utilizzare Log Analytics.

Configura i bucket di log

Assicurati che i bucket di log siano stati sottoposti all'upgrade per utilizzare Analisi dei log:

  1. Nella console Google Cloud , vai alla pagina Archiviazione dei log:

    Vai ad Archiviazione dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Per ogni bucket di log con una visualizzazione dei log che vuoi interrogare, assicurati che la colonna Log Analytics disponibile mostri Apri. Se viene visualizzato il pulsante Esegui l'upgrade, fai clic su Esegui l'upgrade e completa la finestra di dialogo.

Configura ruoli e autorizzazioni IAM

Questa sezione descrive i ruoli o le autorizzazioni IAM necessari per utilizzare Log Analytics:

  • Per ottenere le autorizzazioni necessarie per utilizzare Log Analytics ed eseguire query sulle visualizzazioni log, chiedi all'amministratore di concederti i seguenti ruoli IAM sul progetto:

    • Per eseguire query sui bucket di log _Required e _Default: Visualizzatore log (roles/logging.viewer)
    • Per eseguire query su tutte le visualizzazioni dei log in un progetto: Logs View Accessor (roles/logging.viewAccessor)

    Puoi limitare un'entità a una visualizzazione di log specifica aggiungendo una condizione IAM alla concessione del ruolo Accessore visualizzazione log effettuata a livello di progetto oppure aggiungendo un binding IAM al file dei criteri della visualizzazione di log. Per ulteriori informazioni, vedi Controllare l'accesso a una visualizzazione log.

    Si tratta delle stesse autorizzazioni necessarie per visualizzare le voci di log nella pagina Esplora log. Per informazioni su ruoli aggiuntivi necessari per eseguire query sulle visualizzazioni nei bucket definiti dall'utente o per eseguire query sulla visualizzazione _AllLogs del bucket di log _Default, consulta Ruoli Cloud Logging.

  • Per ottenere le autorizzazioni necessarie per eseguire query sulle visualizzazioni di analisi, chiedi all'amministratore di concederti il ruolo IAM Observability Analytics User (roles/observability.analyticsUser) nel progetto.

Eseguire una query su una visualizzazione dei log o una visualizzazione di analisi

Quando risolvi un problema, potresti voler contare le voci di log con un campo che corrisponde a un pattern o calcolare la latenza media per la richiesta HTTP. Puoi eseguire queste azioni eseguendo una query SQL su una visualizzazione log.

Per eseguire query sui log nella visualizzazione Analytics, puoi utilizzare una query predefinita, inserire una query SQL o utilizzare Query Builder.

Carica ed esegui la query predefinita

  1. Nella console Google Cloud , vai alla pagina Analisi dei log:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Se vuoi caricare la query predefinita:

    1. Nel menu Visualizzazioni, vai alla sezione Log o Visualizzazioni Analytics e seleziona la visualizzazione per cui vuoi eseguire la query.

      Per trovare una visualizzazione, puoi utilizzare la barra Filtro o scorrere l'elenco:

      • Le visualizzazioni di log sono elencate per BUCKET_ID.LOG_VIEW_ID, dove questi campi si riferiscono agli ID del bucket di log e della visualizzazione di log.

      • Le viste Analytics sono elencate per LOCATION.ANALYTICS_VIEW_ID, dove questi campi si riferiscono alla posizione e all'ID di una vista Analytics. Le visualizzazioni di Analytics sono in Anteprima pubblica.

    2. Nella barra degli strumenti Schema, fai clic su Query.

      Il riquadro Query viene aggiornato con una query SQL che esegue query sulla vista Analytics selezionata.

Inserisci ed esegui una query SQL

Per inserire una query SQL:

  1. Nella console Google Cloud , vai alla pagina Analisi dei log:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Nel riquadro Query, fai clic sul pulsante SQL.

    • Per specificare un intervallo di tempo, ti consigliamo di utilizzare il selettore dell'intervallo di tempo. Se puoi aggiungere una clausola WHERE che specifica il campo timestamp, questo valore sostituisce l'impostazione nel selettore dell'intervallo di tempo e il selettore viene disattivato.

    • Per esempi, consulta Query di esempio.

    • Per eseguire una query su una visualizzazione log, la clausola FROM della query deve avere il seguente formato:

      FROM `PROJECT_ID.LOCATION.BUCKET_ID.LOG_VIEW_ID`

    • Per eseguire query su una vista Analytics, la clausola FROM della query deve avere il seguente formato:

      FROM `analytics_view.PROJECT_ID.LOCATION.ANALYTICS_VIEW_ID`

    Di seguito viene descritto il significato dei campi nelle espressioni precedenti:

    • PROJECT_ID: l'identificatore del progetto.
    • LOCATION: la posizione della visualizzazione dei log o della visualizzazione di analisi.
    • BUCKET_ID: Il nome o l'ID del bucket dei log.
    • LOG_VIEW_ID: l'identificatore della visualizzazione dei log, che è limitato a 100 caratteri e può includere solo lettere, cifre, trattini bassi e trattini.
    • ANALYTICS_VIEW_ID: l'ID della visualizzazione Analytics, che è limitato a 100 caratteri e può includere solo lettere, cifre, trattini bassi e trattini.

  3. Esegui la query.

    La query viene eseguita e il risultato viene visualizzato nella scheda Risultati. Puoi utilizzare le opzioni della barra degli strumenti per formattare la query, cancellarla e aprire la documentazione di riferimento di BigQuery SQL.

  4. Esplora i risultati della query. Puoi visualizzare i risultati come tabella o come grafico. I grafici possono essere salvati in una dashboard personalizzata. Per saperne di più, vedi Grafici dei risultati delle query SQL.

Crea ed esegui una query SQL

L'interfaccia di Query Builder ti consente di creare query senza dover scrivere manualmente codice SQL. Puoi iniziare a utilizzare Query Builder, poi passare alla modalità SQL per creare query più complesse.

Si applicano le seguenti limitazioni alle query create utilizzando Query Builder:

  • Le query SQL che scrivi manualmente non possono essere convertite in Query Builder. Per mantenere sincronizzate entrambe le modalità, apportare modifiche solo a Query Builder.

  • Puoi selezionare una sola visualizzazione.

  • Non puoi unire tabelle o nidificare query.

Per generare una query utilizzando Query Builder, seleziona le opzioni dai seguenti menu:

  1. Nella console Google Cloud , vai alla pagina Analisi dei log:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Nel riquadro Query, verifica che sia selezionato il pulsante Builder .

  3. Crea la query utilizzando i seguenti menu:

    • Origine: consente di selezionare la visualizzazione da utilizzare per la query. La selezione che effettui modifica la clausola FROM nella query.

    • Cerca in tutti i campi: consente di trovare i log che corrispondono a termini o frasi di ricerca.

    • Filtri: consente di filtrare i campi nei dati di log.

    • Campi: consente di specificare le colonne visualizzate nella tabella di output.

    • Ordina per: consente di specificare le colonne in base alle quali ordinare.

    • Limite: consente di impostare il numero di righe di output.

  4. Esegui la query. La query viene eseguita e il risultato viene visualizzato nella scheda Risultati.

    Per perfezionare la query, modifica le selezioni effettuate nel generatore di query oppure modifica e visualizza l'SQL generato facendo clic sul pulsante  Editor di query SQL.

  5. Esplora i risultati della query. Puoi visualizzare i risultati come tabella o come grafico. I grafici possono essere salvati in una dashboard personalizzata. Per saperne di più, vedi Grafici dei risultati delle query SQL.

Visualizzare lo schema

Lo schema definisce la struttura e il tipo di dati per ogni campo. Queste informazioni sono importanti per te perché determinano il modo in cui strutturi le query. Ad esempio, supponiamo di voler calcolare la latenza media delle richieste HTTP. Devi sapere come accedere al campo latenza e se è memorizzato come numero intero, ad esempio 100, o come stringa, ad esempio "100". Quando i dati di latenza vengono memorizzati come stringa, la query deve eseguire il cast del valore in un valore numerico prima di calcolare una media.

Log Analytics deduce automaticamente i campi di una colonna quando il tipo di dati è JSON. Per visualizzare la frequenza con cui questi campi dedotti vengono visualizzati nei dati, fai clic su Opzioni e seleziona Visualizza informazioni e descrizione.

Per identificare lo schema:

  1. Nella console Google Cloud , vai alla pagina Analisi dei log:

    Vai ad Analisi dei log

    Se utilizzi la barra di ricerca per trovare questa pagina, seleziona il risultato con il sottotitolo Logging.

  2. Nel riquadro Visualizzazioni, individua la visualizzazione dei log o di Analytics e selezionala.

    Viene visualizzato lo schema. Per le visualizzazioni log, lo schema è fisso e corrisponde alla struttura dei dati LogEntry. Per le visualizzazioni di analisi, puoi modificare la query SQL per cambiare lo schema.

Passaggi successivi