Esta foto é baseada em 1 bilhão de passagens de usuários de táxi em Nova York.
Dois astrônomos da Universidade de Groningen (Holanda) criaram uma biblioteca virtual capaz de gerar visualizações baseadas em centenas de milhões de pontos de dados. Inicialmente, o software foi criado para processar uma grande quantidade de dados de missão do Gaia. Mas também pode exibir modelos em outros arquivos de dados grandes. É open source e livre para usar.
O software foi chamado Vaex - “visualização e estudo de grandes conjuntos de dados tabulares”. Ele pode criar uma visualização de bilhões de pontos de dados em apenas um segundo e se comportar como o Google Maps. Mas o Google Maps usa servidores rápidos e poderosos para o trabalho, e a Vaex custa um laptop. O poder Vaex é baseado em vários métodos inteligentes. Ele usa um algoritmo inteligente que maximiza todo o poder de computação disponível. Em seguida, conta apenas os dados necessários do disco rígido e os envia para a memória principal do computador. Além disso, a memória de trabalho não armazena cópias de dados desnecessárias.
O poder do Vaex foi demonstrado ao vivo em várias conferências. Usou um conjunto de dados de 1 bilhão de registros relacionados a táxis em Nova York. Acontece que você pode ver quais viagens trazem grandes lucros e onde os táxis podem ser esperados em qualquer parte do dia. Isso sugere que o Vaex deve ser usado fora da astronomia.
