-->

Silvio Lima

Cientista de Dados / Analista de Dados

Nome: Silvio César De Lima

Profile:
Analista de Dados
Business Intelligence

Email: silviolima07@gmail.com

Fone: (+55)1299646-2527

Skill

Python 90%
EDA - Análise Exploratória 90%
Visualização de Dados 85%
Deploy: Streamlit / Shiny / Flask 90%
Scrap 70%
About me

Me chamo Silvio César De Lima, pós graduado em Business Intelligence pela universidade de Taubaté e Tecnólogo em Banco de Dados pela FATEC – SJC.
Atuei por mais de 20 anos com suporte e treinamento Unix (Solaris).

Experiência com Unix e Linux.
Linguagens:
Python, R e SQL.
Experiência em análise de dados com:
Weka, Jupyter Notebook, RStudio e Google Colab.
Visualização de dados com:
Tableau, QlikView, Qlik Sense e Power BI.
Deploy de Web apps com:
R / Shiny e Python / Streamlit / Flask.
Algoritmos de Machine Learning com:
R e Python.

Busco uma oportunidade para iniciar em Data Science.
Aplicar os conhecimentos em análise de dados para tomada de decisão.

Conclui em Janeiro de 2020 a Formação Cientista de Dados na Data Sciency Academy - DSA.
Iniciei em Fevereiro, a Formação Inteligência Artificial aplicada a Medicina.

Conquistas até o momento em 2020:
Badge Analista Tableau, Codenation em Data Science, Bootcamp Machine Learning IGTI e diversos cursos.

Portfolio

Aplicando os conhecimentos em análise de dados, criação de modelos e visualização de dados.

Modelos alocados no Heroku e Shinyapps podem levar 30s para iniciar.

Por favor, clique para abrir o app.

Hands on AWS - Load Balancing

AWS / 21/03/2021

Implementação do serviço de Load Balancing, simulando dois ambientes.
Dois grupos de instâncias distintas, onde uma aplicação HTTP rodando em cada instância do grupo é acessada, de acordo com um filtro implementado na url do DNS do load balancer.

Github Action: Atualizando um dashboard

Automação / 10/03/2021

Veja-> Dashboard Vagas em Data Science
Atualização e publicação de dashboard criado com Datapane.
A execução dos passos é administrada pelo Github Action.
Que permite gerenciar o ambiente de execução, a sequência dos passos e também acessar Tokens/Keys como variáveis de ambiente, mantidas criptografadas em Github/Settings/secrets.
Github: https://github.com/silviolima07/datapane-vagas

Integrando: PDI, S3 e Power BI

Manipulação de dados / 06/10/2020

Levando dados via Pentaho PDI até o serviço de repositório AWS, Bucket S3.
Buscando os dados no S3 através de scripts Python no Power BI.

Chatbot B3

Time Series / Heroku / 09/08/2020

Chatbot que traz a cotação de 3 ações.
Faz a previsão usando a lib Prophet.

Webscrap do Indeed

Scrap / Streamlit-Sharing / 15/01/2021

Projeto de scrap de oportunidades abertas em Data Science no Indeed .
Uso das libs: BeautifulSoup e Selenium.

Previsão de Preço

Regressão / Streamlit-Sharing / 08/07/2020

Projeto completo desde a coleta de dados, via scrap em sites de venda de apartamentos.
Tratamento dos dados, treinamento do modelo e deploy na nuvem.

Leitor de Texto com Voz

TextBlob / Heroku / 11/06/2020

Leitura de textos em txt e conversão de idioma.


PCA

Demo / Heroku / 21/05/2020

Demonstração da aplicação do Principal Components Analyses (PCA).

Tradutor de Idiomas

NLP / Heroku / 15/04/2020

Leitura de texto digitados, conversão para diversos idiomas e leitura com voz.

Kaggle & Colab

Análises / Github / 13/03/2020

Análise exploratória, treinamento e avaliação de modelos.

Classificação de imagens

OpenCV / Heroku / 17/04/2020

Aplicação de Visão Computacional.

Ibovespa

Regressão / Shinyapps / 13/12/2019

Visualização de valores de ações na forma de calendário, usando R / OpenAir.

Previsão da Ação Petr4

Regressão / Shinyapps / 04/12/2019

Exemplo de aplicação do algoritmo Arima numa série temporal.

Tableau Public

Dashboards / Tableau / 04/09/2019

Diversos dashboards construidos com dados públicos.

Controle de Peso

Alg. Genéticos / Shinyapps / 29/07/2019

Modelo configurado para descoberta dos itens que respeitem critérios.
O peso total <= 10kg.

Análise de Acidentes de Transito

Apriori / Shinyapps / 07/07/2019

Descoberta dos elementos que compõem um acidente de trânsito.

Rpubs

Gráficos / Rpub / 15/04/2019

Estudos de aplicação de R para criação de gráficos.
Rpbus repositório público.

São Silvestre

Streamlit / Heroku / 24/12/2019

Aplicação da lib Streamlit na construção de uma página Web.

R - Modelo Titanic

Classificação / Shinyapps / 18/06/2019

Modelo construido usando R.

Python - Modelo Titanic

Classificação / Heroku / 11/11/2019

Modelo para classificação de sobreviventes.

Raio-X

Detalhes - Frameworks - Github

Etapas do Processo

Definição

A partir do entendimento pleno de um problema enfrentado no dia-dia pelo cliente, definir as possíveis fontes de dados que compõem a solução.
Uma vez coletados, iniciam-se as etapas de tratamentos e limpeza dos dados, bem como a análise exploratória.
De acordo com o problema, algoritmos são treinados e avaliados até atingir um valor de precisão acordado. Todas etapas, podem se repetir, dependendo das decisões que serão tomadas.
Com o modelo concluído, temos a entrega, onde um relatório de testes e documentação são entregues. Podendo a solução ser acessada por exemplo na forma de uma aplicação web na nuvem.

Web Scrap

Coleta de Dados

Empresas precisam tomar decisões diariamente, a partir de dados históricos acumulados, essa tomada de decisão pode ter maior probabilidade de acerto, quando suportada por dados.
Porém, nem sempre dados internos bastam e outras fontes precisam ser consultadas e mais dados incluidos.
Web Scrap, permite exatamente essa operação. A partir de bibliotecas Python ou R, páginas da internet podem ser lidas e as informações desejadas serem extraidas e assim gerar uma base de dados nova.
No modelo que faz Previsão do Preço Venda de Apartamento, fiz o scrap em 200 páginas e extrai 4000 anúncios.

Código:
Github-Regression_Apartment

Deploy

Deploy do modelo

A conclusão de um projeto de machine learning, pode se constituir da entrega dos relatórios de teste, a documentaçao gerada e de uma aplicação web, onde o cliente possa testar e avaliar a eficácia da solução.
A empresa pode verificar junto do pessoal de TI interno, a melhor forma de tornar a solução disponível aos interessados.
Em meus trabalhos com R usei a infraestrutura da RShinyApps para hospedar minhas aplicações usando a biblioteca Shiny.
Para aplicações Python, construidas usando as bibliotecas Streamlit e Flask, fiz a hospedagem no Heroku.
Basta acessar a url e utilizar.

Código:
Github-Web_App_Apartment

Artigos

Relatórios descrevendo:
coleta, limpeza e tratamento dos dados,
treinamento, avaliação e deploy dos modelos
Telegram - bot

Medium:
Chatbot B3

Coleta dos Dados

Medium:
Web Scrap

Tratamentos dos Dados

Medium:
Prevendo o Preço de Apartamentos

Deploy do Modelo

Medium:
Web-Apps: Deploy