Olhando para o futuro. Os paradoxos entre dados e previsões

No episódio que foi ao ar em 19 de março de 2000, Lisa Simpson torna-se presidente dos Estados Unidos da América com o propósito de reconstruir o país após a desastrosa administração de Donald Trump. Dan Greaney, escritor da aclamada série, disse em uma entrevista: “Foi apenas um aviso aos Estados Unidos... parecia lógico que fosse a última parada antes de chegar ao fundo do poço. Lançamos porque era consistente com a visão de que o país estava enlouquecendo."

Os roteiristas de Os Simpsons acertaram por acaso? Depois de 14.000 minutos transmitidos ao longo de 32 anos de situações hipotéticas, seria razoável para nós encontrar algumas delas que se assemelham à realidade; No entanto, a entrevista revela que sua visão do futuro do país se assemelhava ao que o magnata americano representava. O acaso e a informação são as bases de qualquer previsão ou predição sobre o futuro, sua combinação resulta em um coquetel de previsões que surpreendeu a todos aqueles que consultaram as pitonisas gregas, leram Nostradamus séculos atrás ou viram previsões na série animada da realidade.

Entre a ordem e o acaso 

Um sistema é previsível quando temos informações suficientes sobre seu comportamento histórico, seu estado atual e pouca incerteza para o futuro. Com base nessas informações usamos os dados para construir um modelo preditivo usando qualquer um dos milhares de métodos existentes, cada método levará algumas características como certas, irão predizer outras e descartá-las. O delicado equilíbrio na seleção torna-se algo além da razão, pois quando sabemos que uma pintura representa a paisagem original, ela capta os traços que a tornam inconfundível e que nos permite saber que o modelo sem ser realidade parece suficiente.

A teoria da informação propôs que o modelo que contém a maior quantidade de informação é aquele que está no meio do caminho entre a ordem e o acaso. Um modelo aleatório nada mais é do que uma nuvem de dados que não permite inferir uma lógica do que acontece dentro do sistema; por outro lado, em um modelo completamente ordenado nada está sujeito ao acaso e cada dado usado para construí-lo fará parte do modelo, dando origem a informações com infalibilidade enganosa. Adicionar uma pitada de incerteza às certezas dos modelos contribui para a representação de todas aquelas informações que não foram incorporadas ao modelo ou que a princípio pareciam irrelevantes, mas que podem desempenhar um papel importante no desencadeamento de eventos raros e críticos.

Uma agulha no palheiro 

Prever se amanhã haverá chuva é certamente mais interessante do que prever se o sol nascerá. Eventos raros ou anomalias representam grande parte dos esforços dos cientistas de dados no desenvolvimento de ferramentas de análise, aplicadas à análise de riscos, falhas, meteorologia e outras, concentram-se em duas abordagens: A primeira estuda a história de um sistema profundamente para encontrar o padrão de operação que permite desvendar como ele se comportará no futuro. O problema é que a maioria dos dados acaba por conter informações normais que não contribuem significativamente para a detecção de um evento raro, aqui os cientistas se concentram em encontrar padrões intrincados dentro dessa normalidade que desvendam os sinais que anunciam a anomalia.

A segunda abordagem consiste em coletar eventos raros de muitos sistemas semelhantes para encontrar os padrões com os quais eles ocorrem ao longo do tempo, a dificuldade é que esses sistemas são apenas semelhantes e não podem ser tratados como iguais, às vezes as diferenças sutis entre eles forma como os eventos raros são distribuídos ao longo do tempo.

Concluindo, independentemente da abordagem escolhida, sempre nos encontraremos lutando entre o conhecimento e a incerteza. No caso da análise de falha, ambas as abordagens são encontradas, por exemplo, quando sistemas especialistas são usados ​​para analisar a série temporal de um equipamento em busca de padrões que mostram a falha em um estado incipiente, ou quando realizamos análise dos tempos entre falhas nas curvas do modelo, mostrando o tempo e a probabilidade de falha.

Predizer é um processo 

O paradoxo do mau profeta afirma que se um profeta pretende prever um evento adverso que pode ser evitado, divulgar a profecia ajudará a evitá-lo e, em última instância, não ocorrerá. Portanto, para que o evento ocorra, o profeta não deve divulgar sua profecia; Isso acontece principalmente com a previsão de falhas quando aplicamos ferramentas preditivas, se tivermos sucesso teremos sabotado a previsão feita. Para evitar esse paradoxo, a previsão deve ser transformada em um processo de ajuste das previsões continuamente conforme novas informações do sistema surgem. Reduzindo a incerteza ao incluir novas informações e reduzindo o tempo projetado pela previsão na medida em que estamos nos aproximando do tempo do possível evento. Esta forma de previsão contínua é muito utilizada em meteorologia, em que as previsões são corrigidas todos os dias dando a impressão de que a previsão de hoje estará sempre correta e nunca a da próxima semana.

A previsão está reduzindo a incerteza sobre o futuro com base nas informações disponíveis, mas a informação é tão importante quanto a metodologia que usamos para transformá-la. Seja desvendando a história dos dados de um sistema, extraindo padrões de vários eventos entre sistemas semelhantes, fazendo previsões continuamente ou com uma boa combinação de todos os itens acima. Intuir o futuro tem sido uma constante do ser humano, vimos sinais no céu e na terra e com essas previsões damos sentido às nossas decisões e controlamos o nosso destino. Predizer deixou de ser uma tarefa mística para se transformar na ciência que está por trás de cada uma das decisões que tomamos todos os dias, na tocha que ilumina a escuridão entre a ordem e o acaso.

juan-1 

arrow_back

Olhando para o futuro. Os paradoxos entre dados e previsões

No episódio que foi ao ar em 19 de março de 2000, Lisa Simpson torna-se presidente dos Estados Unidos da América com o propósito de reconstruir o país após a desastrosa administração de Donald Trump. Dan Greaney, escritor da aclamada série, disse em uma entrevista: “Foi apenas um aviso aos Estados Unidos... parecia lógico que fosse a última parada antes de chegar ao fundo do poço. Lançamos porque era consistente com a visão de que o país estava enlouquecendo."

Os roteiristas de Os Simpsons acertaram por acaso? Depois de 14.000 minutos transmitidos ao longo de 32 anos de situações hipotéticas, seria razoável para nós encontrar algumas delas que se assemelham à realidade; No entanto, a entrevista revela que sua visão do futuro do país se assemelhava ao que o magnata americano representava. O acaso e a informação são as bases de qualquer previsão ou predição sobre o futuro, sua combinação resulta em um coquetel de previsões que surpreendeu a todos aqueles que consultaram as pitonisas gregas, leram Nostradamus séculos atrás ou viram previsões na série animada da realidade.

Entre a ordem e o acaso 

Um sistema é previsível quando temos informações suficientes sobre seu comportamento histórico, seu estado atual e pouca incerteza para o futuro. Com base nessas informações usamos os dados para construir um modelo preditivo usando qualquer um dos milhares de métodos existentes, cada método levará algumas características como certas, irão predizer outras e descartá-las. O delicado equilíbrio na seleção torna-se algo além da razão, pois quando sabemos que uma pintura representa a paisagem original, ela capta os traços que a tornam inconfundível e que nos permite saber que o modelo sem ser realidade parece suficiente.

A teoria da informação propôs que o modelo que contém a maior quantidade de informação é aquele que está no meio do caminho entre a ordem e o acaso. Um modelo aleatório nada mais é do que uma nuvem de dados que não permite inferir uma lógica do que acontece dentro do sistema; por outro lado, em um modelo completamente ordenado nada está sujeito ao acaso e cada dado usado para construí-lo fará parte do modelo, dando origem a informações com infalibilidade enganosa. Adicionar uma pitada de incerteza às certezas dos modelos contribui para a representação de todas aquelas informações que não foram incorporadas ao modelo ou que a princípio pareciam irrelevantes, mas que podem desempenhar um papel importante no desencadeamento de eventos raros e críticos.

Uma agulha no palheiro 

Prever se amanhã haverá chuva é certamente mais interessante do que prever se o sol nascerá. Eventos raros ou anomalias representam grande parte dos esforços dos cientistas de dados no desenvolvimento de ferramentas de análise, aplicadas à análise de riscos, falhas, meteorologia e outras, concentram-se em duas abordagens: A primeira estuda a história de um sistema profundamente para encontrar o padrão de operação que permite desvendar como ele se comportará no futuro. O problema é que a maioria dos dados acaba por conter informações normais que não contribuem significativamente para a detecção de um evento raro, aqui os cientistas se concentram em encontrar padrões intrincados dentro dessa normalidade que desvendam os sinais que anunciam a anomalia.

A segunda abordagem consiste em coletar eventos raros de muitos sistemas semelhantes para encontrar os padrões com os quais eles ocorrem ao longo do tempo, a dificuldade é que esses sistemas são apenas semelhantes e não podem ser tratados como iguais, às vezes as diferenças sutis entre eles forma como os eventos raros são distribuídos ao longo do tempo.

Concluindo, independentemente da abordagem escolhida, sempre nos encontraremos lutando entre o conhecimento e a incerteza. No caso da análise de falha, ambas as abordagens são encontradas, por exemplo, quando sistemas especialistas são usados ​​para analisar a série temporal de um equipamento em busca de padrões que mostram a falha em um estado incipiente, ou quando realizamos análise dos tempos entre falhas nas curvas do modelo, mostrando o tempo e a probabilidade de falha.

Predizer é um processo 

O paradoxo do mau profeta afirma que se um profeta pretende prever um evento adverso que pode ser evitado, divulgar a profecia ajudará a evitá-lo e, em última instância, não ocorrerá. Portanto, para que o evento ocorra, o profeta não deve divulgar sua profecia; Isso acontece principalmente com a previsão de falhas quando aplicamos ferramentas preditivas, se tivermos sucesso teremos sabotado a previsão feita. Para evitar esse paradoxo, a previsão deve ser transformada em um processo de ajuste das previsões continuamente conforme novas informações do sistema surgem. Reduzindo a incerteza ao incluir novas informações e reduzindo o tempo projetado pela previsão na medida em que estamos nos aproximando do tempo do possível evento. Esta forma de previsão contínua é muito utilizada em meteorologia, em que as previsões são corrigidas todos os dias dando a impressão de que a previsão de hoje estará sempre correta e nunca a da próxima semana.

A previsão está reduzindo a incerteza sobre o futuro com base nas informações disponíveis, mas a informação é tão importante quanto a metodologia que usamos para transformá-la. Seja desvendando a história dos dados de um sistema, extraindo padrões de vários eventos entre sistemas semelhantes, fazendo previsões continuamente ou com uma boa combinação de todos os itens acima. Intuir o futuro tem sido uma constante do ser humano, vimos sinais no céu e na terra e com essas previsões damos sentido às nossas decisões e controlamos o nosso destino. Predizer deixou de ser uma tarefa mística para se transformar na ciência que está por trás de cada uma das decisões que tomamos todos os dias, na tocha que ilumina a escuridão entre a ordem e o acaso.

juan-1