Muita gente concorda que a melhor forma de aprender Data Science \u00e9 a partir de um projeto real na \u00e1rea. Nesse contexto, h\u00e1 uma s\u00e9rie de etapas que contribuem de maneira significativa para a cria\u00e7\u00e3o de um planejamento ideal baseado na ci\u00eancia de dados. Mas como desenvolv\u00ea-lo na pr\u00e1tica? <\/p>\n\n\n\n
Imagine que voc\u00ea trabalha em uma startup do setor imobili\u00e1rio e um dos objetivos de sua empresa \u00e9 agilizar o c\u00e1lculo de valores de alugu\u00e9is para os seus clientes, deixando os n\u00fameros mais precisos. Para isso, ser\u00e1 necess\u00e1ria uma calculadora de alugu\u00e9is, como esta<\/a>, encontrada na plataforma do Quinto Andar<\/a>. <\/p>\n\n\n\n O objetivo deste artigo \u00e9 descrever de maneira clara como come\u00e7ar do zero um projeto de Data Science<\/a>. Este \u00e9 o exemplo pr\u00e1tico utilizado no Curso Intensivo de Data Science<\/a> da Awari para demonstrar aos alunos um projeto completo, desde a coleta de dados at\u00e9 a transforma\u00e7\u00e3o de todo o procedimento em um web app utiliz\u00e1vel por qualquer pessoa na internet.<\/p>\n\n\n\n Vamos aprender juntos?<\/p>\n\n\n\n O primeiro passo para desenvolver um projeto de ci\u00eancia de dados \u00e9 a compreens\u00e3o do problema a ser resolvido. Neste caso, de acordo com a problem\u00e1tica mencionada acima, construiremos uma calculadora de im\u00f3veis durante as aulas. Em termos mais espec\u00edficos, podemos dizer que nossa tarefa \u00e9: utilizar caracter\u00edsticas (<\/strong>features<\/em><\/strong>) de im\u00f3veis como \u00e1rea, n\u00famero de quartos, n\u00famero de banheiros, regi\u00e3o da cidade onde se encontra (entre outras) para prever pre\u00e7os de alugu\u00e9is condizentes com o que \u00e9 praticado no mercado atualmente de maneira automatizada. <\/strong><\/p>\n\n\n\n O projeto ser\u00e1 desenvolvido do come\u00e7o ao fim das aulas e, a partir dele, vamos demonstrar diversas t\u00e9cnicas utilizadas em todas as etapas de um projeto de ci\u00eancia de dados. Durante o curso, utilizaremos da linguagem de programa\u00e7\u00e3o Python.<\/p>\n\n\n\n Quando precisamos resolver um problema ou criar uma aplica\u00e7\u00e3o com base em Data Science, nossa mat\u00e9ria prima s\u00e3o os dados. Muitas vezes, quando participamos de cursos na \u00e1rea, nos deparamos com bases de dados surgidas milagrosamente em nossas m\u00e3os. <\/p>\n\n\n\n Na vida real de um cientista de dados, por\u00e9m, isso n\u00e3o \u00e9 comum. <\/p>\n\n\n\n A depender do problema, temos acesso a dados p\u00fablicos por meio de bases ou de APIs. Dentro de uma empresa com dados organizados, por exemplo, \u00e9 poss\u00edvel fazer consultas nas bases de dados internas. <\/p>\n\n\n\n Mas e se n\u00e3o tivermos dados? <\/em><\/p>\n\n\n\n No caso da calculadora de im\u00f3veis, utilizaremos o procedimento de Web Scraping, ou seja, criaremos uma esp\u00e9cie de rob\u00f4 que nos permite navegar por p\u00e1ginas especializadas da web selecionando as informa\u00e7\u00f5es desejadas sobre os im\u00f3veis. Assim, voc\u00ea n\u00e3o s\u00f3 aprender\u00e1 como conectar-se a APIs ou como construir uma base para o seu problema a partir de dados j\u00e1 disponibilizados por sua empresa, mas tamb\u00e9m saber\u00e1 o que fazer quando n\u00e3o possuir esses dados dispon\u00edveis e organizados, tornando-se respons\u00e1vel pela cria\u00e7\u00e3o da base de dados.<\/p>\n\n\n\n A partir desta etapa, tamb\u00e9m usaremos bibliotecas de Data Science, que s\u00e3o ferramentas utilizadas para o processamento, tradu\u00e7\u00e3o, an\u00e1lise e cria\u00e7\u00e3o de gr\u00e1ficos com base nos dados obtidos. <\/p>\n\n\n\n No geral, cada biblioteca tem uma fun\u00e7\u00e3o espec\u00edfica. Para essa etapa, as op\u00e7\u00f5es s\u00e3o: <\/strong>requests, json, beautifulsoup, pandas.<\/p>\n\n\n\n Depois de realizar o processo de raspagem da web e transformar as informa\u00e7\u00f5es coletadas em uma base organizada, iniciaremos um procedimento de limpeza de dados.<\/p>\n\n\n\n Um dos primeiros problemas que precisamos lidar em um projeto de Data Science s\u00e3o os dados faltantes. Imagine que fizemos a raspagem de um site com diversos im\u00f3veis visando obter a \u00e1rea, o n\u00famero de quartos, o n\u00famero de banheiros, a regi\u00e3o da cidade onde o im\u00f3vel se encontra e seu respectivo valor de aluguel. Quando concluirmos essa etapa, nem sempre os im\u00f3veis s\u00e3o cadastrados no site com todas essas informa\u00e7\u00f5es. <\/p>\n\n\n\n Soma-se a isso o fato de que os algoritmos n\u00e3o est\u00e3o preparados para lidar com dados que n\u00e3o estejam coletados. <\/p>\n\n\n\n Precisamos de uma estrat\u00e9gia! <\/p>\n\n\n\n O que faremos? <\/p>\n\n\n\n Excluiremos os im\u00f3veis cujos dados n\u00e3o est\u00e3o completos? Pode ser!<\/p>\n\n\n\n E se tivermos muitos dados faltantes? Alguns im\u00f3veis, por exemplo, n\u00e3o possuem o n\u00famero de quartos. Se isso acontecer, podemos reduzir demais nossa base de dados. Uma boa alternativa \u00e9 o preenchimento dos dados faltantes. <\/p>\n\n\n\n Mas como faremos isso? Alguns pontos devem ser analisados:<\/p>\n\n\n\n Valeria a pena o esfor\u00e7o?<\/p>\n\n\n\n Durante as aulas, te ajudaremos a entender cada um desses processos, fazendo com que suas decis\u00f5es em projetos futuros sejam as mais adequadas poss\u00edveis.<\/p>\n\n\n\n Quais bibliotecas poderemos utilizar nesta etapa: <\/strong>numpy, <\/strong>pandas, entre outras. <\/p>\n\n\n\n Certo, agora n\u00e3o faltam dados! \u00c9 hora de tentar ganhar uma certa intimidade com nossa base. <\/p>\n\n\n\n Para isso, geraremos alguns gr\u00e1ficos. Desta forma, as colunas, linhas e c\u00e9lulas passar\u00e3o a ser resumidas de maneira visual, facilitando a compreens\u00e3o de poss\u00edveis rela\u00e7\u00f5es entre os dados coletados, que ser\u00e3o encarados como vari\u00e1veis. <\/p>\n\n\n\n O pr\u00f3ximo passo ser\u00e1 procurar correla\u00e7\u00f5es entre essa vari\u00e1veis, especialmente entre as vari\u00e1veis e os pre\u00e7os dos im\u00f3veis coletados. Qual vari\u00e1vel voc\u00ea acha que afeta diretamente o pre\u00e7o de um apartamento? <\/p>\n\n\n\n Essas s\u00e3o algumas das informa\u00e7\u00f5es obtidas nesta etapa. <\/p>\n\n\n\n Na etapa seguinte, observaremos a distribui\u00e7\u00e3o dos dados coletados. <\/p>\n\n\n\n Ops! Um aluguel de R$1.000.000,00? Esquisito!<\/p>\n\n\n\n Como vamos proceder?<\/p>\n\n\n\n \u00c9 poss\u00edvel que tenhamos que lidar com outliers<\/em> em nosso projeto, que s\u00e3o observa\u00e7\u00f5es que se encontram a uma dist\u00e2ncia anormal<\/strong> de outros valores em uma amostra aleat\u00f3ria. <\/p>\n\n\n\n Por isso, precisamos compreender os efeitos desses dados em nossos algoritmos e o efeito que os poss\u00edveis tratamentos a esses dados (exclus\u00e3o, por exemplo) tamb\u00e9m podem trazer em nosso modelo final. Poss\u00edveis bibliotecas para essa etapa: <\/strong>numpy, <\/strong>pandas, matplotlib, seaborn<\/p>\n\n\n\n Em um projeto que lida com dados tabulares, teremos que lidar com dois tipos de vari\u00e1veis: num\u00e9ricas e categ\u00f3ricas. <\/p>\n\n\n\n Com o primeiro tipo de vari\u00e1vel, os algoritmos funcionam bem. Com o segundo, n\u00e3o. <\/p>\n\n\n\n Sim, grande parte dos algoritmos n\u00e3o vai entender que aquele apartamento fica no centro ou na zona norte pois n\u00e3o est\u00e3o preparados para reproduzir dados categ\u00f3ricos.<\/p>\n\n\n\n Para lidar com essa problem\u00e1tica, precisaremos de um pouco mais de manipula\u00e7\u00e3o de dados para que, de alguma forma, possamos transformar essas informa\u00e7\u00f5es em dados num\u00e9ricos, de modo que o algoritmo consiga lidar com elas. <\/p>\n\n\n\n Certo, mas que tipo de transforma\u00e7\u00e3o dever\u00e1 ser aplicada a esses dados? <\/p>\n\n\n\n Sim, o tratamento de dados categ\u00f3ricos e suas implica\u00e7\u00f5es tamb\u00e9m ser\u00e1 uma de nossas preocupa\u00e7\u00f5es durante a constru\u00e7\u00e3o de nossa calculadora. Ao final da atividade voc\u00ea compreender\u00e1 o que cada decis\u00e3o a respeito desse quesito representa para seguirmos para a pr\u00f3xima etapa. <\/p>\n\n\n\n Poss\u00edveis bibliotecas para essa etapa: <\/strong>pandas, scikit-learn<\/p>\n\n\n\n N\u00e3o! O que faremos a seguir \u00e9 deixar a base preparada para o algoritmo que vir\u00e1 a ser usado. De modo geral, queremos criar predi\u00e7\u00f5es que sejam as mais generaliz\u00e1veis que conseguirmos.<\/p>\n\n\n\n E o que significa isso?<\/em><\/p>\n\n\n\n Significa que queremos altas taxas de acerto, mas que funcionem n\u00e3o apenas para os dados que temos em m\u00e3os. <\/p>\n\n\n\n E como podemos assegurar que isso vai acontecer?<\/em><\/p>\n\n\n\n N\u00e3o vamos assegurar, mas faremos procedimentos que trar\u00e3o uma no\u00e7\u00e3o de qu\u00e3o bem performarmos com dados novos.<\/p>\n\n\n\n Para que isso aconte\u00e7a, \u00e9 necess\u00e1rio uma quebra inicial da base de dados em duas partes. Esse \u00e9 um passo crucial nesse processo, pois n\u00e3o queremos fazer previs\u00f5es\/proje\u00e7\u00f5es utilizando dados j\u00e1 conhecidos para avaliar a performance do algoritmo. N\u00e3o queremos ser profetas do passado! <\/p>\n\n\n\n Dessa maneira, as duas partes ser\u00e3o a base de treino e a base de teste. A primeira fatia deste corte ser\u00e1 a parte em que adaptaremos os par\u00e2metros do algoritmo escolhido at\u00e9 que as m\u00e9tricas de mensura\u00e7\u00e3o de performance estejam boas e o algoritmo esteja adaptado aos dados da melhor forma poss\u00edvel. A segunda ficar\u00e1 intocada, e ser\u00e1 utilizada como se fossem dados novos, desconhecidos pelo algoritmo. <\/p>\n\n\n\n Os pesos, profundidades, n\u00fameros m\u00e1ximos de \u00e1rvores e quaisquer outros par\u00e2metros dos algoritmos n\u00e3o ter\u00e3o utilizado tais dados para a sua adapta\u00e7\u00e3o. Essa fatia de nossa base de dados mostrar\u00e1 a performance de nosso algoritmo com dados desconhecidos testando, dessa forma, a generaliza\u00e7\u00e3o das predi\u00e7\u00f5es ou at\u00e9 mesmo se adaptamos o algoritmo de forma incorreta \u00e0 base de treino.<\/p>\n\n\n\n Agora sim, com as bases separadas, podemos seguir para o pr\u00f3ximo passo. <\/p>\n\n\n\n Poss\u00edveis bibliotecas para essa etapa: <\/strong>pandas, scikit-learn<\/p>\n\n\n\n Por lidar com a predi\u00e7\u00e3o de valores de alugu\u00e9is <\/strong>baseados em caracter\u00edsticas de im\u00f3veis, temos um projeto de regress\u00e3o. <\/p>\n\n\n\n Certo! Mas a biblioteca que utilizamos tem v\u00e1rios algoritmos com essa finalidade. <\/p>\n\n\n\n Qual devemos usar? Ou melhor, que estrat\u00e9gia devemos utilizar para escolher o modelo?<\/em><\/p>\n\n\n\n Checar os modelos dispon\u00edveis e buscar entender cada um deles para definir qual o melhor a partir de suas caracter\u00edsticas e das caracter\u00edsticas dos nossos dados? \u00c9 uma op\u00e7\u00e3o.<\/p>\n\n\n\n Importar v\u00e1rios modelos de uma vez s\u00f3 e, mesmo sem a compreens\u00e3o de como cada um deles funciona separadamente, escolher o que apresentar a melhor m\u00e9trica relativa a nosso desafio a ser resolvido? \u00c9 outra op\u00e7\u00e3o.<\/p>\n\n\n\n Certo. Encontramos um modelo de base!<\/p>\n\n\n\n Mas ser\u00e1 que \u00e9 poss\u00edvel melhorar sua performance ainda mais?<\/em><\/p>\n\n\n\n Sim, os algoritmos possuem par\u00e2metros modific\u00e1veis e podemos verificar o quanto a altera\u00e7\u00e3o desses par\u00e2metros afeta a qualidade de nossas predi\u00e7\u00f5es. <\/p>\n\n\n\n Faremos isso manualmente? \u00c9 prov\u00e1vel que n\u00e3o. <\/em><\/p>\n\n\n\n Podemos fazer loops<\/em> (ou utilizar fun\u00e7\u00f5es pr\u00e9-estabelecidas que fa\u00e7am isso por n\u00f3s) para combinar esses par\u00e2metros e verificar qual a configura\u00e7\u00e3o mais se adapta aos dados que temos. <\/p>\n\n\n\n Ap\u00f3s encontrar as configura\u00e7\u00f5es e adaptar nosso algoritmo, utilizaremos a base de teste para que possamos compreender o qu\u00e3o bem nosso algoritmo est\u00e1 performando com dados desconhecidos e, caso esteja funcionando, prosseguiremos para a etapa final.<\/p>\n\n\n\n Poss\u00edveis bibliotecas para essa etapa: <\/strong>scikit learn, xgboost, statsmodels<\/p>\n\n\n\n Ok, agora temos nosso modelo e ele est\u00e1 suficientemente calibrado. O que faremos? <\/p>\n\n\n\n \u00c9 no momento que transformamos todo o tratamento realizado nos dados em uma ferramenta utiliz\u00e1vel por outras pessoas que extra\u00edmos o real valor de um projeto de Data Science. Este \u00e9, sem d\u00favidas, outro ponto pouqu\u00edssimo visitado em cursos de ci\u00eancia de dados.<\/p>\n\n\n\n O pr\u00f3ximo passo \u00e9 escolher e refinar o algoritmo de maneira satisfat\u00f3ria. Pode ser que seja nossa fun\u00e7\u00e3o, como cientistas de dados, transformar todo esse processo desenvolvido em Python em algo que pessoas que n\u00e3o programam ou n\u00e3o tenham acesso aos dados que temos possam utilizar. <\/p>\n\n\n\n Em nosso exemplo, faremos uma implementa\u00e7\u00e3o de nosso modelo em forma de um web app, um site com campos em que os usu\u00e1rios preencher\u00e3o com n\u00fameros de quartos, banheiros e zona da cidade. Com esses dados, o aplicativo retornar\u00e1 a estimativa do valor de aluguel que dever\u00e1 ser pago por um im\u00f3vel com as caracter\u00edsticas informadas.<\/p>\n\n\n\n Para isso, salvaremos o modelo criado de modo que possamos import\u00e1-lo posteriormente. Em seguida, citaremos novos arquivos em Python e HTML e trabalharemos na conex\u00e3o entre os campos reservados \u00e0 entrada de dados pelos usu\u00e1rios finais na p\u00e1gina HTML e as fun\u00e7\u00f5es que interpretar\u00e3o os dados e os utilizar\u00e3o para alimentar o modelo salvo. Desta forma, teremos como retorno a predi\u00e7\u00e3o do valor do aluguel demonstrada ao usu\u00e1rio na p\u00e1gina do aplicativo.<\/p>\n\n\n\n Ap\u00f3s a cria\u00e7\u00e3o das conex\u00f5es, o passo final \u00e9 a hospedagem de todo esse processo em um servidor remoto. Para isso, criaremos alguns arquivos auxiliares para instalar as bibliotecas necess\u00e1rias e iniciar o aplicativo quando solicitado. <\/p>\n\n\n\n Por fim, utilizaremos nosso reposit\u00f3rio no GitHub, que contar\u00e1 com todos os arquivos necess\u00e1rios para \u201csubir\u201d nosso web app para o servidor onde ficar\u00e1 hospedado, finalizando assim o processo. <\/p>\n\n\n\n Poss\u00edveis bibliotecas para essa etapa:<\/strong> Pickle, Flask e Stremalit <\/p>\n\n\n\n Um projeto completo na \u00e1rea de ci\u00eancia de dados<\/a> envolve muitos processos al\u00e9m da aplica\u00e7\u00e3o de algoritmos em bases de dados pr\u00e9-processadas. Muito do hype (e por consequ\u00eancia, dos cursos) em torno da ci\u00eancia de dados esteja em cima da aplica\u00e7\u00e3o dos algoritmos e da modelagem dos dados, por ser a parte do processo conceitualmente mais complexa.<\/p>\n\n\n\n Se nos atentarmos a esta pesquisa<\/a>, por\u00e9m, veremos que a coleta e a manipula\u00e7\u00e3o de dados s\u00e3o respons\u00e1veis, respectivamente por 19 e 60% do tempo de trabalho dos cientistas de dados<\/a>, sendo as atividades que consomem maior tempo desses profissionais. <\/p>\n\n\n\n E n\u00e3o \u00e9 por acaso. Embora conceitualmente mais simples, esses procedimentos s\u00e3o trabalhosos e respons\u00e1veis por trazer ao cientista de dados o material que vai alimentar os algoritmos. <\/p>\n\n\n\n Al\u00e9m disso, os algoritmos s\u00f3 ter\u00e3o resultados excelentes se tivermos dados representativos para o problema que queremos resolver. E essa quest\u00e3o \u00e9 resolvida na coleta e na manipula\u00e7\u00e3o (com o processo de feature engineering<\/em>, por exemplo). <\/p>\n\n\n\n Por isso, todas as etapas relativas a um projeto de ci\u00eancia de dados<\/a> s\u00e3o importantes e devem ser realizadas da melhor forma poss\u00edvel.<\/p>\n\n\n\n Na Awari, desenvolveremos um projeto do in\u00edcio ao fim, para certificar que nossos alunos estejam cientes da maioria dos passos a serem dados em projetos de ci\u00eancia de dados, n\u00e3o apenas os mais conhecidos.<\/p>\n\n\n\n A Awari \u00e9 uma plataforma completa<\/strong> com mentorias individuais, cursos com aulas ao vivo e suporte de carreira para voc\u00ea dar seu pr\u00f3ximo passo profissional.<\/p>\n\n\n\n Conhe\u00e7a nossos cursos<\/a>, que v\u00e3o desde Trilhas de Data Science<\/a>, Gest\u00e3o de Produtos<\/a>, Design<\/a> e Programa\u00e7\u00e3o<\/a>. Saiba mais sobre a nossa jornada personalizada e materiais complementares feitos por especialistas no mercado.<\/p>\n","protected":false},"excerpt":{"rendered":" Muita gente concorda que a melhor forma de aprender Data Science \u00e9 a partir de um projeto real na \u00e1rea. Nesse contexto, h\u00e1 uma s\u00e9rie de etapas que contribuem de maneira significativa para a cria\u00e7\u00e3o de um planejamento ideal baseado na ci\u00eancia de dados. Mas como desenvolv\u00ea-lo na pr\u00e1tica? Imagine que voc\u00ea trabalha em uma […]<\/p>\n","protected":false},"author":9,"featured_media":122057,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":[186],"meta":{"inline_featured_image":false,"footnotes":""},"categories":[229],"tags":[],"trilha":[],"class_list":["post-117537","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-skills","format-artigos"],"acf":[],"yoast_head":"\n1. Entendimento de um problema<\/h2>\n\n\n\n
2. Compreens\u00e3o dos dados<\/h2>\n\n\n\n
3. Limpeza dos dados<\/h2>\n\n\n\n
4. Gera\u00e7\u00e3o de gr\u00e1ficos<\/h2>\n\n\n\n
A depender da distribui\u00e7\u00e3o dos dados mencionada acima, podemos ter que reescal\u00e1-los (adapt\u00e1-los \u00e0 escala logar\u00edtmica, por exemplo) e essas adapta\u00e7\u00f5es podem, de certa forma, suavizar o efeito desses dados \u201cfora da curva\u201d.<\/p>\n\n\n\n5. Compreendendo os algoritmos<\/h2>\n\n\n\n
6. Prepara\u00e7\u00e3o das bases<\/h2>\n\n\n\n
7. Cria\u00e7\u00e3o do modelo de base<\/h2>\n\n\n\n
8. Deploying<\/h2>\n\n\n\n
Comece sua carreira em Ci\u00eancia de Dados! <\/h2>\n\n\n\n
? Quer se tornar um cientista de dados? Conhe\u00e7a a Awari!<\/strong><\/h3>\n\n\n\n