Probabilidades meteorológicas: fiabilidade, frequência e amostra

Uma probabilidade de 20% não promete que o fenómeno ocorre exactamente uma vez em cada cinco dias seguidos. Descreve uma afirmação sobre um evento definido e sobre a informação disponível.

Para avaliar essa afirmação, comparamos muitos casos semelhantes com observações. Esta aula aprofunda a verificação, depois de compreender membros de ensemble, dispersão e percentis.

Todos os dados seguintes são inventados e não representam o desempenho de um serviço real.

Escolhemos um evento abstracto E, definido previamente com variável, lugar, intervalo e critério constantes. Em cada caso, o resultado é 1 se E ocorreu e 0 se não ocorreu.

Um período de três horas e um de vinte e quatro não são o mesmo evento. Uma observação pontual e uma média sobre uma área também diferem.

Alterar a definição depois de conhecer o resultado tornaria a comparação incoerente.

No grupo A, a frequência observada coincide com a probabilidade emitida. No B, a frequência é inferior.

Num diagrama de fiabilidade, colocamos probabilidade prevista no eixo horizontal e frequência observada no vertical. Os pontos são (20%,20%) e (80%,60%).

A diagonal representa igualdade. O segundo ponto revela um desencontro neste grupo da amostra; não basta para demonstrar como o sistema se comportaria noutros lugares, épocas ou probabilidades.

O Brier Score para um evento binário calcula a média de (p−o)², em que p é a probabilidade entre 0 e 1 e o é o resultado 0 ou 1. O score não tem unidade física; valores menores representam menor erro segundo esta medida.

Usa as probabilidades de cada caso, em vez de transformar primeiro tudo numa previsão sim/não. Há outras medidas de desempenho: uma conta isolada não constitui um ranking universal.

Na mesma amostra, E ocorreu 20 vezes em 50: frequência global 40%. Uma referência fictícia que tivesse emitido 40% em todos os casos daria BS=[20×0,6²+30×0,4²]/50=0,24.

O sistema dos dois grupos tem score ligeiramente menor, apesar do desencontro no grupo B. Isso mostra por que comparar erro global e fiabilidade de grupos são perguntas distintas.

Esta referência foi construída retrospectivamente na própria amostra, não é uma validação independente de previsão real.

Emitir sempre a frequência de uma população estável pode produzir boa concordância global sem distinguir situações mais ou menos prováveis. Emitir valores muito próximos de 0 e 1 torna previsões mais extremas, mas não garante que tenham razão.

A fiabilidade relaciona probabilidades com frequências; a capacidade de distinguir situações e a distribuição dos valores emitidos acrescentam outras dimensões. Não são propriedades inferíveis da aparência de um gráfico ou do número de membros.

Amostras pequenas oscilam e podem ter casos dependentes entre si. Um único sucesso não prova calibração; uma única ocorrência com probabilidade baixa não a refuta.

É preciso declarar selecção de casos, observações e definição do evento. Aqui aprendemos a verificar afirmações probabilísticas, sem transformar percentagens em condições aceitáveis para navegar ou substituir a leitura de produtos meteorológicos apropriados.