As seis fases da Análise de Dados

#Data Warehouse

A Análise de Dados nunca é fácil, mas somos todos Analistas de Dados . Você se lembra da vez em que abriu o arquivo do Excel e comparou duas opções para comprar um novo laptop? Ou a vez que você olhou para o mercado de ações para entender para onde estamos indo? Parabéns, você é um Analista de Dados . Mas a análise é uma habilidade que é refinada ao longo de anos e anos de trabalho duro. O que não significa que não há maneiras de torná-lo um pouco mais fácil de começar. Tenho observado atentamente como o Google está fazendo as coisas e gosto muito da estrutura deles, deixe-me usar este artigo para refletir sobre isso.

Segundo o Google, existem seis fases ou etapas de análise de dados: perguntar, preparar, processar, analisar, compartilhar e agir . Segui-los deve resultar em um quadro que facilite um pouco a tomada de decisões e a resolução de problemas. Por favor, não vamos misturá-los com o ciclo de vida dos dados, vamos deixar isso para outro momento. Mas para entender como as seis fases ajudariam na tomada de decisões, vamos revisá-las.

Etapa 1: pergunte - entenda o problema

É sempre importante entender o que parece ser o problema ou a questão. Fazer uma suposição ou não entender completamente o problema levará a conclusões erradas e resultará em ações erradas. Identificar o problema é naturalmente também uma das tarefas mais difíceis. Como A. Einstein afirmou:

'Se eu tivesse uma hora para resolver um problema, passaria 55 minutos pensando no problema e 5 minutos pensando nas soluções.'

Então, o que ajudaria a identificar o problema? As seguintes ações devem ajudar:

Indique o problema. Esta será a sua primeira pedra angular. Se mudar ao longo do tempo, é muito natural. Quanto mais sabemos, mais sábios somos. Todas as declarações de problemas devem ser mensuráveis, claras e concisas.

Nossa declaração do problema é nosso foco. Todo o resto deve ser uma reflexão tardia e evitado.

Tente ver a foto maior! Dê um passo para trás e veja toda a situação no contexto. E o contexto é crucial aqui. Diferentes configurações podem dar diferentes significados.

Nunca veleje sozinho e certifique-se de entender completamente as expectativas dos colaboradores. Isso significa envolver as pessoas, obter seus pontos de vista e interesse. Uma vez que esteja lá, deixe também claro o que eles esperam! Esteja aberto em todas as conversas e não faça jogo de telefone*, ou seja, tente se comunicar com todos da mesma maneira e, se possível, na mesma conversa.

* Sussurros chineses (inglês da Commonwealth) ou telefone (inglês norte-americano) é um jogo infantil popular internacionalmente. Os jogadores formam uma linha ou círculo, e o primeiro jogador apresenta uma mensagem e a sussurra no ouvido da segunda pessoa na linha.

Perguntas a serem feitas:

Quais são as partes interessadas declarando como seus problemas?

Como as questões das partes interessadas podem ser resolvidas? (isso é um pouco de engenharia reversa)

O problema declarado é realmente a causa raiz?

Passo 2: Preparar - O que eu preciso?

Uma vez que haja uma compreensão do problema, pode-se pensar em como resolvê-lo. Tempo para decidir quais dados precisam ser coletados para responder às perguntas e como organizá-los para que sejam úteis. Deve-se pensar nos seguintes aspectos:

Quais métricas medir? (* Métricas são medidas quantitativas). Ao responder a essa pergunta, pode ser necessário responder também a subquestões (por exemplo, nosso time-to-market é competitivo para o produto X? Se não, quais melhorias de processo ajudariam?).
Que fatores devem ser levados em consideração?
Onde estão localizados os dados (arquivos, banco de dados, sistema externo, sistema interno)?
Se os dados serão movidos, como serão armazenados e quais são as medidas de segurança necessárias para proteger esses dados.

Perguntas a serem feitas nesta etapa:

O que precisa ser descoberto como resolver esse problema?
O que ajudaria a medir o resultado de qualquer mudança na área problemática?
Que pesquisas são necessárias?
Onde as informações são mantidas?

Passo 3: Processo - Torná-lo utilizável!

Quando começamos a usar os dados, pode ser uma combinação de diferentes fontes ou pode não ser da mais alta qualidade. Um processo conhecido como limpeza de dados é a correção ou remoção de dados incorretos, corrompidos, formatados incorretamente, duplicados ou incompletos em um conjunto de dados. O que pretendemos alcançar são dados limpos . E para dizer a verdade, isso é uma ciência por si só. Existem muitas ferramentas, teorias e métodos para usar, mas vamos manter tudo básico aqui. Limpeza de dados não requer ferramentas ou palavras sofisticadas, um simples programa de planilha (sim, isso é o Excel) será suficiente. Embora minha preferência esteja com os outros (Pandas!👌). Então, durante esta etapa, pode-se:

Usando ferramentas adequadas para encontrar dados incorretos e incompletos.
Remoção de inconsistências nos dados. Às vezes, pode haver entradas duplicadas.
Um dos aspectos mais importantes a ter em mente - identificar se seus dados são tendenciosos. Essencialmente, dados tendenciosos não serão representativos da população ou fenômeno de estudo, nosso problema que estamos tentando resolver.

Perguntas a serem feitas nesta etapa:

A fonte de dados é confiável e a qualidade dos dados é alta?
Quais erros de dados ou imprecisões podem ocorrer em determinado conjunto de dados.
Qual é a melhor resposta possível para o problema que está sendo resolvido?
Como limpar os dados para que as informações sejam mais consistentes? (por exemplo, substituir valores por valores médios, etc.)

Passo 4: Analise - Conte-me a história!

O próximo passo é tirar algumas conclusões com base nos dados confiáveis. A análise de dados é uma habilidade que leva tempo para dominar, mas com o tempo os padrões surgirão mais rapidamente e os métodos usados serão desenvolvidos. O conceito principal é pensar analiticamente sobre seus dados, ser crítico e criativo. Pode haver a necessidade de classificar e formatar os dados para facilitar o processamento, criar uma tabela dinâmica ou criar gráficos incríveis! Lembre-se que é uma história que deve se desenrolar. Processamento adicional pode incluir:

A execução de diferentes cálculos obtém métricas adicionais.
Combinando atributos de dados adicionais de várias fontes para obter uma história mais abrangente.
Crie visualizações diferentes para os dados. Como tabelas com seus resultados, filtre e dinamize-os.
Torná-lo visual, se possível! Gráficos dizem mais que mil palavras.

Perguntas a serem feitas nesta etapa:

Que história meus dados estão me contando?
Por que não pode ser feito?
X (por exemplo, tempo, dinheiro, mão de obra ou experiência) nos permitirá resolver o problema?
Como meus dados me ajudarão a resolver esse problema?
Quem precisa do produto ou serviço da minha empresa?
Que tipo de pessoa é mais provável que o use?

Etapa 5: compartilhar - obter visualizações diferentes

Uma coisa ainda a lembrar, o que quer que façamos, somos tendenciosos . Então, como próximo passo, obtenha opiniões adicionais sobre as descobertas. Isso ajudará significativamente a melhorar os resultados e garantir que os principais aspectos sejam levados em consideração. Como existem muitas formas de compartilhar a descoberta, cada pessoa tem sua preferência e cada empresa também. No entanto, muitos estudos asseguram que, com visuais claros e atraentes dos resultados da análise, a história é melhor compreendida. (Um bom artigo sobre isso https://hdsr.mitpress.mit.edu/pub/zok97i7p/release/3). As ferramentas não importam muito aqui, pode ser Tableau, Excel ou até mesmo o bom e velho papel e lápis! Mas aproveite isso como uma chance de mostrar às partes interessadas como seu problema foi resolvido. Compartilhar certamente ajudará com:

Tomando melhores decisões. O feedback ajudará a responder às perguntas que inicialmente não foram pensadas.
Tomar decisões mais informadas. O feedback não será meramente crítico, mas também sugestões e informações adicionais sobre o assunto.
Melhore o resultado geral. De um ângulo, a decisão provavelmente será mais informada e melhor, mas também a transparência garantirá que haja mais suporte para as descobertas.

Perguntas a serem feitas nesta etapa:

Como posso tornar o que apresento aos stakeholders atraente e fácil de entender?
O que me ajudaria a entender isso se eu fosse o ouvinte?
O que torna uma visualização de dados boa?

Passo 6: Agir - Conhecemos o problema, vamos resolvê-lo!

Nenhuma conclusão de análise deve permanecer para coletar poeira em uma prateleira! Em vez disso, alguma ação deve ser tomada. A partir dos resultados e dependendo do enunciado do problema, podem ser feitas recomendações para ações posteriores. E uma vez que as recomendações estejam prontas, a decisão real pode ser tomada! Não necessariamente o condutor da análise é aquele que toma uma decisão, mas também pode significar fornecer aos tomadores de decisão (partes interessadas) recomendações baseadas nas descobertas para que possam tomar decisões baseadas em dados . Mas a chave aqui são as decisões baseadas em dados.

Perguntas a serem feitas nesta etapa:

Como o feedback recebido durante a fase de compartilhamento (etapa 5) pode ser usado para atender às necessidades e expectativas das partes interessadas?
Que soluções potenciais para o problema descrito poderia haver?
Vale a pena resolver este problema? (Sim, isso também é um resultado potencial)

E pronto você está!

Estas são as seis etapas que o Google delineou para análise de dados. E eles ajudam a estruturar o pensamento ao conduzir a Análise de Dados. Para definir o pensamento estruturado , na verdade, é dividir o processo (análise de dados) em partes menores e gerenciáveis. Segundo os Googlers, esse processo envolve quatro atividades básicas:

Reconhecer o problema ou situação atual.
Organização das informações disponíveis.
Revelando lacunas e oportunidades.
Identificando suas opções.

Mas com isso, vamos tomar algumas decisões baseadas em dados!

Artigo original: https://www.linkedin.com/pulse/seis-fases-da-an%C3%A1lise-de-dados-anderson-jos%C3%A9-da-silva/