Data Science

Data Warehouse

O Data Warehouse quem centraliza os dados da empresa e elimina os ruídos de comunicação entre os departamentos, deixando tudo unificado.
É todo planejado com foco na tomada de decisão e no que o negócio precisa.
É a parte mais crítica nos projetos de BI. - Rafael Piton

Definição

Características

Orientado por assunto:
A orientação por assunto é uma característica marcante de um DW, pois toda modelagem será voltada em torno dos principais assuntos da empresa

Integrado:
A integração mostra-se em muitas diferentes maneiras: na convenção consistente de nomes, na forma consistente das variáveis, na estrutura consistente de códigos, nos atributos físicos consistente dos dados, e assim por diante.

Histórico:
Num DW é normal mantermos um horizonte de tempo bem superior ao dos sistemas transacionais, enquanto no OLTP mantemos um histórico curto dos dados, no DW guardamos esses dados num período maior.

Localização:
Os dados podem estar fisicamente armazenados num único local centralizando o banco de dados em um DW integrado, procurando maximizar o poder de processamento e agilizando a busca dos dados ou distribuídos, os Data Marts, armazenados por áreas de interesse. Por exemplo, os dados da gerência financeira num servidor, dados de marketing noutro e dados da contabilidade num terceiro lugar.

Não volátil:
No DW existem somente duas operações, a carga inicial e as consultas dos front-ends aos dados. Isso pode ser afirmado porque a maneira como os dados são carregados e tratados é completamente diferente dos sistemas transacionais. Enquanto nesses sistemas temos vários controles e updates de registros, no DW temos somente inserts e selects de dados. Por exemplo, num sistema de contabilidade podemos fazer alterações nos registros. Já no DW, o que acontece é somente ler os dados na origem e gravá-los no destino, ou seja, no banco modelado multidimensional.

Credibilidade dos dados:
Dados não dignos de confiança podem resultar em relatório inúteis, que não têm importância alguma, assim como uma lista de pacientes do sexo masculino e grávidos, por exemplo.

Granularidade:
Nada mais é do que o nível de detalhe ou de resumo dos dados existentes num DW. Quanto maior for o nível de detalhes, menor será o nível de granularidade. O nível de granularidade afeta diretamente o volume de dados armazenados no DW, e ao mesmo tempo o tipo de consulta que pode ser respondida.

Weka

Weka é um software livre para mineração de dados, do tipo open source, desenvolvido em Java dentro das especificações da GPL (General Public License) que se consolidou como a ferramenta de mineração de dados mais utilizada por estudantes e professores de universidades.
A ferramenta também é muito utilizada por profissionais que desejam aprender os conceitos básicos sobre mineração de dados.
Através de sua interface gráfica (conhecida como Weka Explorer) é possível conduzir processos de mineração de dados de forma simples, realizando a avaliação dos resultados obtidos e a comparação de algoritmos.
Além disso, a ferramenta oferece recursos para a execução de tarefas relacionadas ao pré-processamento de dados como, por exemplo, a seleção e a transformação de atributos.

Classificação - Algoritmo RandomForest

O Weka foi usado para classificar um conjunto de dados sobre websites falsos (Phishing Websites).
Um website falso apresenta algumas caracteristicas que podem ser usadas para classificar como falso ou não um site.
Por exemplo:Tempo de registro do domínio, uso de prefixos e sufixos, abertura de janelas de Popup e etc...
Foram utilizados 30 atributos que geralmente identificam um website falso.
Foi utilizado o algoritmo RandomForest, este apresentou uma taxa de acerto de 98,97.

Conclusão

O algoritmo RandomForest apresentou um acerto de 98,9688% de classificações corretas.
Segundo a matriz de confusão:
Corretamente
- > classe -1 = 4830 - > classe 1 = 6111
Incorretamente
- > classe -1 = 68 - > classe 1 = 46

Este algoritmo tem sido muito utilizado em análises envolvendo big data, pois tem proporcionado melhores resultados em relação a outros algoritmos.
Em estudos e comparações (monografias) feitas com o J48 e o Naive Bayes, o RandomForest se mostrou mais apto para essas condições de datasets (número de instâncias e atributos).

Agrupamento - Algoritmo SimpleKMeans

O dataset com 30 atributos que caracterizam um site falso, foram analisados visando criar grupos baseados nos atributos encontrados.
Foi definido que seriam gerados 5 grupos.
O SimpleKMeans apresentou 5 grupos bem distribuídos, a partir da indicação da quantidade (k) de clusters desejada, dividiu a base de dados de forma que a similaridade dos elementos de cada cluster seja alta e entre os clusters seja baixa .

Conclusão

Os grupos foram definidos a partir dos valores assumidos por cada atributo que identifica um site falso, um site suspeito ou um site legitimo.
Os valores possíveis eram 0, 1 e -1, sendo 0 considerado suspeito, -1 como falso e 1 como sendo legitimo.
Nos grupos gerados, o valor -1 no grupo 2, concentrou maior número de instâncias.
Os atributos identificados como característica de um site falso são:
- URL_Length
- Prefix_Suffix
- Domain_registration_length
- SFH
- Page_Rank

A maior concentração de instâncias no grupo 2, pode indicar ou apontar que sejam atributos chaves na determinação se um site é falso ou não.

Associação - Algoritmo Apriori

O dataset utilizado possue 4627 instâncias e 217 atributos relacionados as compras efetuadas num supermercado.
O algoritmo Apriori, busca a probabilidade de um item Antecedente, LHS (Left Hand Side) influênciar na existência de um item Consequente, RHS(Right Hand Side).
O conceito por trás desta representação é indicar que, numa base de dados, a probabilidade de ocorrência de B é maior entre os registros que contém A. Ou seja, a ocorrência do evento A aumenta a chance do evento B ocorrer.

Arquivo: supermarket.arff

Declaração das instâncias de compras efetuadas

Execução do algoritmo Apriori

Conclusão

Analisando a saída do algoritmo pode-se observar as associações encontradas no conjunto de dados utilizado. Quem comprou determinado produto (LHS), também comprou um produto especifico (RHS).
De posse dessa informação, a administração do supermercado pode criar promoções para motivar mais compras e posicionar os produtos associados mais próximos entre si.

Close

R

R é uma linguagem e também um ambiente de desenvolvimento integrado para cálculos estatísticos e gráficos.
Foi criada originalmente por Ross Ihaka e por Robert Gentleman no departamento de Estatística da universidade de Auckland, Nova Zelândia, e foi desenvolvido em um esforço colaborativo de pessoas em vários locais do mundo.
O nome R provêm em parte das iniciais dos criadores e também de um jogo figurado com a linguagem S (da Bell Laboratories, antiga AT&T).

Análise de dados dos censos de 1991, 2000 e 2010 do Brasil

Para efetuar as análises fez-se o download do dataset Altas2013_dadosbrutos do site do Ibge. Utilizou-se o RStudio como ambiente para execução.
Foram análisadas as correlações entre alguns atributos na aba com dados do Brasil contendo os valores segundo os censos de 1991, 2000 e 2010.
Correlações indicam uma relação entre atributos, esta correlação pode ter valores positivos e negativos.
Valores negativos indicam que os atributos são inversamente proporcionais ou seja à medida que os valores de um atributos aumentam, os valores do outro atributos tendem a cair.
Valores positivos, indicam que os atributos são diretamente proporcionais.
Foram feitas correlações entre:

Espectativa de Vida ao nascer, valores em anos
Espectativa de anos de estudo até os 18 anos
Proporção de pobreza (renda familiar per capita abaixo de R$140 mensais)
Probabilidade de sobrevivência até os 60 anos

RStudio

-->

Resultado da Execução

> ## ESPVIDA - Espectativa de Vida ao nascer, valores em anos
> ESPVIDA<-dadosBR[3]
> ## E_ANOSESTUDO - Espectativa de anos de estudo até os 18 anos
> E_ANOSESTUDO<-dadosBR[11]
> head(ESPVIDA)
ESPVIDA
1 64.73
2 68.61
3 73.94
> head(E_ANOSEstudo)
E_ANOSESTUDO
1 8.16
2 8.76
3 9.54
> cor(ESPVIDA,E_AN0SEstudo)
E_ANOSESTUDO
ESPVIDA
0.9998801

A correlação entre Espectativa de vida e Anos de estudo, aponta valor positivo e quase igual a 1, significando que há uma influência positiva no tempo de vida de acordo com o tempo de estudo.

<

> ## PMPOB - Proporção de pobreza (renda familiar per capita abaixo de R$140 mensais)
> PMPOB<-dadosBR[76]
> head(PMPOB)
PMPOB
1 38.16
2 27.90
3 15.20
> cor(ESPVIDA,PMPOB)
PMPOB
ESPVIDA
-0.9995688

A correlação entre Espectativa de vida e Proporção de pobreza, aponta valor negativo e quase igual a -1, significando que há uma influência inversamente proporcional no tempo de vida de acordo com proporção de pobreza.

> ## SOBRE60 - Probabilidade de sobrevivência até os 60 anos
> SOBRE60<-dadosBR[9]
> head(SOBRE60)
SOBRE60
1 70.93
2 77.63
3 84.05
> cor(E_ANOSESTUDO,SOBRE60)
SOBRE60
E_ANOSESTUDO
0.9961756

A correlação entre a Probabilidade de chegar até os 60 anos e Anos de estudo, aponta valor positivo e quase igual a 1, significando que há uma influência diretamente proporcional a probabilidade de chegar aos 60 anos e de acordo com o tempo de estudo.

Análise mundial da expectativa de vida ao nascer de 1800 a 2016

Dados coletados no site da Gapminder.
Foi utilizada a biblioteca ggplot2 para construção dos gráficos.

Evolução da expectativa de vida:
- em países divididos em blocos por renda

Evolução da expectativa de vida:
- em países divididos por região

Evolução em alguns países da América Latina

A expectativa de vida aumentou em todos blocos e países, alguns de forma homogenea e rápida. Avanços na medicina como a descoberta da penicilina durante a segunda guerra mundial(1944), vacinas e melhoria da infraestrutura em grandes cidades possibilitou esse aumento.

Close