Nome: Silvio César De Lima
Profile:
Cientista de Dados
Analista de Dados
Email: silviolima07@gmail.com
Fone: (+55)1299646-2527
Skill
Python 90%About me
Me chamo Silvio César De Lima, pós graduado em Business Intelligence pela universidade de Taubaté e Tecnólogo em Banco de Dados pela FATEC – SJC.
Atuei por mais de 20 anos com suporte e treinamento Unix (Solaris).
Experiência com Unix e Linux.
Linguagens:
Python, R e SQL.
Experiência em análise de dados com:
Jupyter Notebook, RStudio e Google Colab.
Visualização de dados com:
Tableau e Power BI.
Deploy de Web apps com:
R / Shiny e Python / Streamlit / Flask.
Algoritmos de Machine Learning com:
R e Python.
Serviços AWS:
EC2, S3, Athena, Sagemaker e outros.
Busco uma oportunidade para iniciar em Data Science.
Aplicar os conhecimentos em análise de dados para tomada de decisão.
Conclui em Janeiro de 2020 a Formação Cientista de Dados na Data Sciency Academy - DSA.
Conclui em Junho de 2022, a Formação Inteligência Artificial aplicada a Medicina.
Conquistas até o momento em 2020:
Badge Analista Tableau, Codenation em Data Science, Bootcamp Machine Learning IGTI e diversos cursos.
Portfolio
Aplicando os conhecimentos em análise de dados, criação de modelos e visualização de dados.
Modelos alocados no Heroku e Shinyapps podem levar 30s para iniciar.
Por favor, clique para abrir o app ou notebook.
AWS CI/CD - Continous Integration / Continous Delivery
Implementação do CI/CD, usando CodeDeploy, CodeBuild e CodePipeline.
Uma aplicação é recompilada, o código atualizado e a versão nova é levada para um bucket no S3 que hospeda um site estático.
Hands on AWS - Load Balancing
Implementação do serviço de Load Balancing, simulando dois ambientes.
Dois grupos de instâncias distintas, onde uma aplicação HTTP rodando em cada instância do grupo é acessada, de acordo com um filtro implementado na url do DNS do load balancer.
Github Action: Atualizando um dashboard
Veja-> Dashboard Vagas em Data Science
Atualização e publicação de dashboard criado com Datapane.
A execução dos passos é administrada pelo Github Action.
Que permite gerenciar o ambiente de execução, a sequência dos passos e também acessar Tokens/Keys como variáveis de ambiente, mantidas criptografadas em Github/Settings/secrets.
Github: https://github.com/silviolima07/datapane-vagas
Integrando: PDI, S3 e Power BI
Levando dados via Pentaho PDI até o serviço de repositório AWS, Bucket S3.
Buscando os dados no S3 através de scripts Python no Power BI.
Chatbot B3
Chatbot que traz a cotação de 3 ações.
Faz a previsão usando a lib Prophet.
Raio-X
Detalhes - Frameworks - Github
Etapas do Processo
Definição
A partir do entendimento pleno de um problema enfrentado no dia-dia pelo cliente, definir as possíveis fontes de dados que compõem a solução.
Uma vez coletados, iniciam-se as etapas de tratamentos e limpeza dos dados, bem como a análise exploratória.
De acordo com o problema, algoritmos são treinados e avaliados até atingir um valor de precisão acordado. Todas etapas, podem se repetir, dependendo das decisões que serão tomadas.
Com o modelo concluído, temos a entrega, onde um relatório de testes e documentação são entregues. Podendo a solução ser acessada por exemplo na forma de uma aplicação web na nuvem.
Web Scrap
Coleta de Dados
Empresas precisam tomar decisões diariamente, a partir de dados históricos acumulados, essa tomada de decisão pode ter maior probabilidade de acerto, quando suportada por dados.
Porém, nem sempre dados internos bastam e outras fontes precisam ser consultadas e mais dados incluidos.
Web Scrap, permite exatamente essa operação. A partir de bibliotecas Python ou R, páginas da internet podem ser lidas e as informações desejadas serem extraidas e assim gerar uma base de dados nova.
No modelo que faz Previsão do Preço Venda de Apartamento, fiz o scrap em 200 páginas e extrai 4000 anúncios.
Código:
Github-Regression_Apartment
Deploy
Deploy do modelo
A conclusão de um projeto de machine learning, pode se constituir da entrega dos relatórios de teste, a documentaçao gerada e de uma aplicação web, onde o cliente possa testar e avaliar a eficácia da solução.
A empresa pode verificar junto do pessoal de TI interno, a melhor forma de tornar a solução disponível aos interessados.
Em meus trabalhos com R usei a infraestrutura da RShinyApps para hospedar minhas aplicações usando a biblioteca Shiny.
Para aplicações Python, construidas usando as bibliotecas Streamlit e Flask, fiz a hospedagem no Heroku.
Basta acessar a url e utilizar.
