An Unconstrained Dataset for Non-stationary Video Based Fire Detection

Editor's Notes

• #3: First, let me talk a little about why this dataset was created. At FURG we are working on a surveillance robot. It follows a predetermined path, reconizes and tracks people, car plates, reports diferente kinds of incidentes AND one of its features is the fire detection using color images. It all started with frustration and anger! When I started the bibliography review I came accross many publications that did not provide a source code neither the dataset that has been used to evaluate it. In the same way, the evaluations were also nuclear, ignoring many importante metrics. It becomes very hard to evaluate a detector using only the recall or precision information.
• #6: The majority of the previous video based fire detections systems is designed to work with stationary videos. Doing a survey on the research topic, we can quickly identify a pattern among the proposed solutions. They all combine, in a cascade/sequential mode a aquisition system, a color based pixel wise classification and the pulsation patterns. Geralmente utilizam-se câmeras fixas em torres de vigilância a partir das quais é obtido um stream de vídeo. A primeira parte do processo é a classificação individual, pixel-a-pixel da imagem definindo regiões com a coloração de fogo. A segunda etapa do processo varia entre os trabalhos estudados, partindo de uma abordagem que avalia apenas a variância individual de cada pixel conforme proposto em PHILLIPS (2002) até modelos baseados em fluxo óptico conforme proposto por MUELLER (2013).
• #7: Dentre todas as publicações revisadas, as que mais se aproximam com os objetivos propostos no nosso trabalho são BORGES (2010) e CHENEBERT (2011). BORGES cria um modelo de aproximação estatística. Para a classificação de cor, aplica-se inicialmente um filtro gaussiano cujo desvio padrão (tamanho do filtro) é obtido a partir da variância em cada canal. Os valores de pixel, já suavizados, são utilizados para aplicação de um threshold que dá maior probabilidade para os pixels no centro da imagem. A classificação dos pixels pela cor permite definer regiões de interesse e extrair características. Borges propões o uso de informações da área, rugosidade do contorno, variância e inclinação no canal vermelho. A Classificação utilizando estes atributos é dada através de um classificador Naive Bayes. O trabalho foi publicado na IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY. Já o trabalho de CHENEBERT, apresentado na ICIP 2011 também se aproxima do trabalho proposto, ao tentar utilizar informações da textura para a classificação de regiões como fogo ou não fogo. A primeira etapa consiste na classificação dos pixels individualmente utilizando uma equação proposta por Chen(2004), que utiliza thresholds fixos. Para a classificação das regiões utiliza-se a extração de histogramas de 10 bins para os canais “Matiz” e “Saturação” do colorspace HSV resultando em 20 atributos. Ainda para a classificação das texturas os autores utilizam GLCM, também conhecidos como descritores de Haralick, extraindo energia, entropia, contraste, homoegeniedade e correlação dos valores de pixel em H e S. Cada região é então classificada com base nestes 30 atributos que são testados em um classificador de árvore e em uma rede neural. Os resultados obtidos mostram que o algorítmo CART é o que fornece os melhores resultados. Os autores tentaram ainda reduzir o números de atributos, de forma a encontrar os mais discriminantes, mas os rersultados mostraram que não houve uma melhora significativa.
• #13: Quando o detector é avaliado frame a frame, pode-se avalia-lo da mesma forma que se avalia um classificador binários. Neste caso, os frames que contém fogo são considerados como 1’s e os frames sem fogo são considerados como 0’s. O recall, ou revocação, é a fração dos frames de fogo que foram corretamente classificados pelo detector. TPR = TP/P A especifidade é a medida análoga ao recall, mas aplicado aos frames que não apresentam fogo. SPC = TN/N A precisão é a métrica que mostra qual o percentual dos frames classificados como fogo pelo detector são realmente fogo. PPV = TP/ (TP+FP) Já o valor preditivo negativo, é o equivalente à precisão para aplicada às saídas negativas do detector. NPV = TN/(TN+FN) Já a métrica fall-out dá a razão dos falsos positivos para o total de negativos. FPR = FP/N Enquanto estas métricas nos permitem avaliar os resultados do detector individualmente, elas não oferecem medidas combinadas. Neste sentido, a acurácia pode ser útil ao fornecer a proporção dos frames que foram corretamente classificados. No entanto, não é uma métrica balanceada, podendo induzir ao erro, ao desconsiderar a matriz de confusão. A métrica F1 Score, proposta por Chinchor (1992), é a média harmônica entre a precisão e o recall. Por este motivo, a F1 Score tende a punir sistemas que que apresentem um desequilíbrio entre estas medidas. Já o coeficiente de correlação de Matheus é a correlação linear entre os resultados esperados e os resultados fornecidos pelo detector. A escala varia de -1 até 1, onde -1 representa correlação negativa, 0 é o equivalente à uma predição aleatória e 1 representa que os resultados obtidos são exatamente iguais aos esperados.
• #14: Enquanto estas métricas nos permitem avaliar os resultados do detector individualmente, elas não oferecem medidas combinadas. Neste sentido, a acurácia pode ser útil ao fornecer a proporção dos frames que foram corretamente classificados. No entanto, não é uma métrica balanceada, podendo induzir ao erro, ao desconsiderar a matriz de confusão. A métrica F1 Score, proposta por Chinchor (1992), é a média harmônica entre a precisão e o recall. Por este motivo, a F1 Score tende a punir sistemas que que apresentem um desequilíbrio entre estas medidas. Já o coeficiente de correlação de Matheus é a correlação linear entre os resultados esperados e os resultados fornecidos pelo detector. A escala varia de -1 até 1, onde -1 representa correlação negativa, 0 é o equivalente à uma predição aleatória e 1 representa que os resultados obtidos são exatamente iguais aos esperados.
• #15: As métricas frame a frame são, no entanto, incapazes de mensurar adequadamente se o detector encontrou corretamente as regiões que apresentam chama na imagem. Por este motivo utilizaram-se também métricas de avaliação da localização das chamas detectadas. Levou-se em consideração que pode existir uma relação 1 para N, onde várias saídas do detector podem ser associadas à uma única anotação de ground-truth. Neste caso, é possível calcular somente as métricas que não dependem de valores negativos, o que inclui a precisão, recall e similaridade média. Na avaliação, a função de similaridade é dada pela intersecção da área detectada com a anotação de groundtruth correspondente, dividido pela área da detecção. Neste caso, sempre que a região detectada não extrapolar a região anotada, a similaridade é igual a 1. S = (Dt intersec Gt)/ Dt