O processo de análise de dados

Uma data de pedido, um comentário de cliente e um tempo de entrega são todos dados. Eles registram algo observado ou coletado. Um único fato é um dado; uma coleção organizada é um conjunto de dados. O significado de um valor depende do que ele descreve e de como foi registrado.

Leia a estrutura de um conjunto de dados

Em uma tabela típica, cada linha é um registro e cada coluna é um atributo desse registro. Uma tabela de pedidos pode ter um pedido por linha e colunas para número do pedido, data e quantidade. Antes de calcular, identifique o que uma linha representa. Contar linhas só equivale a contar pedidos se cada linha realmente for um pedido.

Dados quantitativos registram contagens ou medições: 3 itens ou um tempo de entrega de 42 minutos. Dados qualitativos registram categorias ou descrições: a cor de um produto ou o comentário “o aplicativo travou na finalização da compra”. Algarismos, por si só, não determinam o tipo. Um CEP identifica uma área; calcular a média de CEPs não descreveria uma localização média significativa.

Transforme registros em uma percepção analítica

A análise de dados coleta, transforma e organiza dados para tirar conclusões, fazer previsões e apoiar decisões. Seu resultado útil é uma percepção analítica, uma compreensão que ajuda alguém a agir. Uma tabela de devoluções de sapatos é um conjunto de dados; descobrir que a maioria das devoluções de um modelo se refere a tamanhos de forma pequena é uma percepção analítica que pode orientar uma mudança na tabela de tamanhos.

Analítica de dados nomeia a área mais ampla de processos, ferramentas e técnicas para gerenciar, explorar e usar dados. A análise é o trabalho em uma pergunta específica dentro dessa área. Os termos muitas vezes se sobrepõem em descrições de vagas, portanto use a tarefa apresentada para entender o que a pessoa quer dizer.

A ciência de dados muitas vezes usa estatística, programação e aprendizado de máquina para modelar o que é desconhecido. Um analista pode investigar quais linhas de produtos perderam clientes no último trimestre. Um cientista de dados pode criar um modelo para estimar quais clientes atuais deixarão de ser clientes no próximo mês. Essas são tarefas típicas, e as áreas se sobrepõem; os nomes dos cargos não criam um limite fixo.

Acompanhe o ecossistema em torno da tabela

Um ecossistema de dados reúne pessoas, hardware e software. Em um hospital, equipamentos de laboratório produzem resultados, bancos de dados os armazenam, analistas criam relatórios e profissionais de saúde os usam. Uma falha em qualquer parte pode afetar o significado do relatório: a ausência de dados de um equipamento pode parecer uma queda na atividade de exames.

A nuvem oferece armazenamento e software em servidores remotos acessados pela internet. Ela permite que equipes trabalhem com dados compartilhados de vários locais. O acesso compartilhado ainda exige controles sobre quem pode ver ou alterar informações.

Os dados registram o que foi coletado, incluindo lacunas e erros. A ausência de vendas em um feriado pode significar que a loja estava fechada. Verifique como e quando os registros foram coletados antes de interpretar um valor vazio ou zero como uma indicação sobre a demanda.

O mesmo conjunto de dados pode apoiar vários tipos de perguntas. Os quatro tipos comuns de análise separam um resumo de acontecimentos, uma investigação de razões, uma estimativa do que vem a seguir e uma escolha de ação. Identifique a pergunta antes de selecionar um método.

Relacione a pergunta ao resultado

A Gartner popularizou esse modelo de quatro tipos. Os tipos envolvem exigências diferentes, mas uma pergunta não melhora apenas pela escolha de um tipo mais complexo.

A análise descritiva resume dados passados ou atuais. Uma loja virtual enviou 12.400 pedidos em março e 11.480 em fevereiro. O aumento é de 920 pedidos. Dividir 920 por 11.480 dá cerca de 0,080, ou 8%. Isso descreve a mudança sem explicar sua causa.

A análise diagnóstica divide o resultado em grupos e os compara. Dividir esses pedidos por canal de vendas mostra que quase todo o crescimento veio de uma nova campanha nas redes sociais, enquanto os pedidos de clientes recorrentes permaneceram estáveis. Isso delimita a investigação. Um padrão ligado a uma campanha ainda precisa ser verificado antes que a campanha seja apontada como causa comprovada.

A análise preditiva usa padrões passados para estimar valores futuros ou desconhecidos. “Cerca de 13.000 pedidos em abril, provavelmente entre 12.000 e 14.000” comunica uma previsão e sua incerteza. Uma previsão é uma estimativa, portanto um gestor não deve tratar o valor central como um total garantido.

A análise prescritiva compara ações em relação a um objetivo e a limites práticos. Os pedidos esperados em abril podem ajudar um gestor a decidir quantos funcionários temporários escalar, junto com a disponibilidade de pessoal e a capacidade. Uma recomendação pode usar trabalho descritivo, diagnóstico ou preditivo e condições conhecidas; ela não exige um modelo de previsão em todos os casos.

Acompanhe uma situação pelos quatro tipos

Um programa de compartilhamento de bicicletas registra 52.000 aluguéis em maio e 41.600 em junho. A queda é de 10.400 aluguéis, ou 20% do total de maio: isso é descritivo. Uma comparação por dia associa a maior parte da queda aos 14 dias chuvosos de junho: isso é trabalho diagnóstico. Uma previsão que usa condições meteorológicas semelhantes e o padrão de julho do ano anterior é preditiva. Programar reparos para dias com previsão de chuva, quando menos bicicletas são necessárias nas ruas, é prescritivo.

Antes de comunicar que a chuva é a causa, investigue outras mudanças, como um aumento de tarifa ou o fechamento de uma ciclovia. Escolher um tipo útil de análise e avaliar a força das evidências são decisões separadas. Um total confiável pode responder completamente à pergunta de um gestor; uma previsão elaborada com registros ruins não pode corrigi-los.

Uma decisão é orientada por dados quando as evidências da análise mudam ou orientam a escolha. Coletar números depois de uma decisão apenas para defendê-la não dá às evidências esse papel. A primeira pergunta é o que o responsável pela decisão precisa escolher, seguida de quais evidências poderiam mudar essa escolha.

Dê à decisão um critério comum

Os dados podem mostrar o que está acontecendo, comparar opções na mesma base e tornar mensurável o efeito posterior de uma decisão. Os funcionários de uma biblioteca podem acreditar que “quase ninguém vem à noite”. Se os registros de entrada mostram que 18% das visitas semanais acontecem após as 18h, reduzir o horário noturno tem um efeito maior do que a impressão deles sugere.

A medida precisa corresponder ao objetivo. Se uma central de atendimento recompensa apenas chamadas curtas, os funcionários podem reduzir a duração média das chamadas encerrando-as antes de resolver os problemas. O número melhora enquanto o atendimento piora. Pergunte o que a medida deixa de fora e se as pessoas podem melhorá-la sem melhorar o resultado que importa para a organização.

Combine evidências com conhecimento do trabalho

Um especialista no assunto compreende uma área ou processo por meio da experiência. Um supervisor de armazém pode explicar por que um aparente salto no tempo de expedição ocorreu durante uma mudança de estoque. O analista apresenta o padrão; o especialista fornece contexto, identifica valores impossíveis e sugere explicações a verificar.

Algumas organizações chamam esse equilíbrio de tomada de decisão informada por dados: as evidências são um insumo importante ao lado da experiência, da ética e do contexto. O julgamento humano ainda é necessário para decidir o que importa e quais compromissos são aceitáveis.

Intuição é um julgamento intuitivo feito sem raciocínio consciente. Ela pode fornecer uma ideia inicial, como “os clientes vão embora por causa dos nossos preços”. Transforme esse palpite em uma pergunta que os dados possam examinar, por exemplo, como as taxas de cancelamento mudaram em torno da última alteração de preços. Busque também evidências que contestem o palpite, pois uma explicação familiar pode parecer mais forte do que realmente é.

Deixe as evidências mudarem uma proposta

Uma rede de academias considera fechar sua menor unidade. A ideia inicial é que uma unidade pequena deve ser a menos importante. Os registros mostram que seus alunos a frequentam mais do que os alunos de qualquer outra unidade e que 70% nunca usaram outra unidade da rede. Esses resultados sugerem que muitos poderiam cancelar a matrícula em vez de mudar de unidade. A rede escolhe manter a unidade e rever a decisão no ano seguinte.

Verifique quem está representado antes de generalizar. Uma decisão sobre áreas de entrega baseada em pedidos pelo aplicativo deixa de fora clientes que pedem por telefone. Dados incompletos, antigos ou enviesados podem afastar recursos das pessoas afetadas pela decisão. A equidade exige examinar tanto de quem são os dados presentes quanto quem poderia ser prejudicado pela recomendação.

O analista fornece evidências claras às partes interessadas e explica seus limites. O gestor, o cliente ou o conselho geralmente é responsável pela decisão. Uma previsão de prováveis cancelamentos só ajuda esse julgamento quando a incerteza está visível; apresentá-la como certa esconderia parte da escolha.

O ciclo de vida dos dados acompanha os dados durante toda a sua existência. O certificado do Google ensina seis etapas: planejar, coletar, gerenciar, analisar, arquivar e destruir. Os registros de pedidos de uma loja virtual mostram por que cada etapa precisa de atenção mesmo depois que um relatório é concluído.

Planeje e colete

Durante o planejamento, decida o que coletar, como os dados serão coletados e gerenciados, quem é responsável e por quanto tempo serão mantidos. A loja escolhe número do pedido, data, itens, quantidade, valor pago e CEP de entrega. A equipe de operações assume a responsabilidade por esses registros.

Durante a coleta de dados, os dados entram no sistema. Uma compra finalizada grava um registro de pedido em um banco de dados. Outras fontes poderiam ser uma pesquisa, um sensor ou um arquivo recebido de outra organização. A coleta diz respeito à obtenção de registros, não ainda à elaboração de conclusões a partir deles.

Gerencie e analise

Durante o gerenciamento, mantenha os dados exatos, disponíveis e protegidos. Escolha um armazenamento adequado, controle o acesso, mantenha os registros e faça cópias de segurança. Por exemplo, os endereços de clientes podem ficar visíveis apenas para os funcionários do atendimento ao cliente, com uma cópia de segurança do banco de dados de pedidos feita a cada noite.

Durante a análise, use os dados para responder a perguntas e apoiar decisões. Um analista pode examinar um ano de pedidos para identificar os produtos devolvidos com mais frequência. Os mesmos dados de pedidos podem depois apoiar outra análise de tempos de entrega; um conjunto de dados pode servir a muitos projetos.

Guarde ou remova registros

Durante o arquivamento, transfira registros que deixaram de ser usados no dia a dia para um armazenamento de longo prazo, de modo que ainda possam ser encontrados. Um arquivo de longo prazo preserva registros para consulta futura. Uma cópia de segurança é uma cópia usada para restaurar dados após perda ou dano. A razão para mantê-los é diferente: um arquivo de longo prazo de faturas antigas e a cópia de recuperação da noite anterior atendem a necessidades diferentes.

Durante a destruição, remova permanentemente dados que não tenham mais finalidade e cuja retenção não seja exigida por nenhuma regra. Uma política de retenção de dados determina por quanto tempo cada tipo é mantido. Regras de privacidade podem exigir a exclusão de dados pessoais que não sejam mais necessários; regras contábeis podem exigir a manutenção de alguns registros por um período mínimo. A finalidade e as regras aplicáveis determinam o período, portanto não há um prazo universal de retenção para todos os conjuntos de dados.

A destruição segura de dados impede sua recuperação usando um método adequado, como apagar o armazenamento de forma segura ou destruí-lo fisicamente. Mover um arquivo para uma lixeira não é destruição segura.

Relacione o ciclo de vida aos projetos

As etapas não acontecem apenas uma vez em toda a organização. Novos pedidos são coletados enquanto registros mais antigos são analisados, arquivados ou destruídos. Um campo ausente descoberto durante a análise pode levar à revisão do plano de coleta.

Um projeto de análise em seis fases acompanha o trabalho necessário para responder a uma pergunta. Ele pode envolver várias etapas do ciclo de vida: reunir respostas de uma pesquisa é coletar dados, enquanto armazenar e documentar um conjunto de dados limpo é gerenciá-los. Concluir o projeto não encerra a vida do conjunto de dados.

Os nomes das etapas variam porque as organizações usam modelos para finalidades diferentes. Uma agência de pesquisa enfatiza a preservação e o compartilhamento de dados reutilizáveis; uma equipe de análise enfatiza responder a uma pergunta e colocar a resposta em prática. Compare o que acontece em uma etapa antes de decidir que dois modelos discordam.

Reconheça o modelo de ciclo de vida do USGS

O Serviço Geológico dos Estados Unidos (USGS) usa planejar, adquirir, processar, analisar, preservar e publicar/compartilhar. Três atividades continuam em todas as etapas:

• Descrever: criar e atualizar metadados e documentação.
• Gerenciar a qualidade: verificar se os dados são coletados, tratados e usados de forma confiável.
• Fazer cópias de segurança e proteger: proteger os dados contra perda e acesso não autorizado.

Metadados explicam um conjunto de dados: quem o coletou, quando, como, o que suas colunas significam e quais unidades usam. Uma coluna chamada “temp” não é clara sem essas informações. Ela pode significar temperatura em graus Celsius, temperatura em outra unidade ou um valor temporário. A documentação possibilita a reutilização sem adivinhação.

O modelo do USGS termina com publicação e compartilhamento porque dados científicos podem ser úteis a outros pesquisadores. Sua ênfase difere da de um ciclo de vida que nomeia explicitamente a destruição. Nenhum dos conjuntos de etapas elimina a necessidade de cuidar dos registros durante sua existência.

Compare modelos de projetos de análise

O ciclo da ciência de dados da OpenStax nomeia cinco atividades: definição do problema, coleta de dados, preparação de dados, análise de dados e comunicação dos resultados. Elas correspondem, de modo geral, à definição de uma tarefa, à obtenção de registros, à sua limpeza, à busca de uma resposta e à sua comunicação.

O CRISP-DM, sigla para processo padrão intersetorial para mineração de dados, foi desenvolvido por um grupo de empresas no fim dos anos 1990. Ele nomeia compreensão do negócio, compreensão dos dados, preparação dos dados, modelagem, avaliação e implantação. A modelagem pode criar modelos preditivos ou descritivos, como grupos de clientes com características semelhantes. Um projeto que apenas resume registros pode não precisar de uma tarefa separada de criação de modelos.

As seis fases perguntar, preparar, processar, analisar, compartilhar e agir se sobrepõem a esses modelos. Perguntar se assemelha à definição do problema ou à compreensão do negócio. Preparar e processar se sobrepõem à coleta, compreensão e preparação. Analisar se sobrepõe à análise ou à modelagem e avaliação. Compartilhar diz respeito à comunicação dos resultados, enquanto agir diz respeito a colocá-los em prática. A correspondência é aproximada: a OpenStax não nomeia uma fase separada de ação, e o CRISP-DM dá espaço explícito à avaliação.

Use um modelo como lista de verificação compartilhada

Um círculo ou uma sequência em um diagrama não obriga o trabalho a avançar sem revisão. Um mês ausente descoberto durante a análise faz a equipe voltar para encontrar os dados. Um resultado pode mudar a pergunta de negócio. Use o modelo da equipe para que os nomes das etapas tenham um significado compartilhado e explique a atividade ao falar com alguém que usa outra estrutura.

Um projeto de análise começa com uma decisão a apoiar e termina com ação e acompanhamento. As seis fases do certificado do Google, perguntar, preparar, processar, analisar, compartilhar e agir, tornam esse trabalho visível. Cada fase entrega um produto concreto à próxima.

Saiba o que cada fase produz

Para uma rede de três padarias, o proprietário começa com “Ajude-nos a reduzir o desperdício de pão”. A fase de perguntas transforma isso em uma tarefa sobre o desperdício em cada loja em cada dia da semana. A preparação identifica os registros de produção e de vendas. O processamento corrige erros verificados e registra essas alterações. A análise calcula taxas de desperdício e padrões por dia da semana. O compartilhamento explica o padrão importante ao proprietário. A ação coloca em prática um teste de produção aprovado e mede seu efeito.

As fases estão ligadas por seus produtos. Um gráfico precisa de resultados confiáveis. Os resultados precisam de dados limpos e relevantes. Dados relevantes são definidos por uma tarefa clara. Escolher uma ferramenta primeiro pode inverter essa lógica: um gráfico atraente pode responder a uma pergunta que ninguém precisava responder.

Retorne à fase que resolve o problema

As fases formam um ciclo. Suponha que a análise revele que os registros de uma loja estão ausentes por uma semana. Volte à preparação para localizá-los, depois processe e analise o conjunto de dados completo. Se “desperdício” significa coisas diferentes para o proprietário e os gerentes das lojas, volte à fase de perguntas para chegar a um acordo sobre a medida antes de comparar resultados.

Retornar a uma fase faz parte do processo. Isso não significa começar todas as tarefas desde o início. Guarde a descrição das fontes e o registro de limpeza de dados para que as revisões possam ser rastreadas e o trabalho posterior possa usar as entradas corrigidas.

Planeje o trabalho além dos cálculos

Preparar e limpar dados muitas vezes leva mais tempo do que calculá-los e representá-los em gráficos. Um cronograma precisa reservar espaço para localizar fontes, resolver registros ausentes e verificar valores incomuns. Também precisa de tempo para que as partes interessadas entendam os resultados da análise e decidam o que fazer.

O trabalho de um analista continua após uma apresentação. O proprietário pode precisar de ajuda para planejar o teste, e os novos resultados precisam da mesma medida usada nos resultados iniciais. Se o desperdício cair, mas as prateleiras ficarem vazias cedo demais, esse resultado se torna a próxima pergunta. Um projeto pode envolver planejamento, coleta, gerenciamento e análise de dados, enquanto os próprios dados continuam em seu ciclo de vida mais longo.

“Investigue nosso desperdício de pão” é uma solicitação inicial, mas ainda não especifica o que uma resposta deve permitir fazer. A fase de perguntas transforma essa solicitação em uma tarefa de negócio clara. A fase de preparação encontra os dados necessários para respondê-la.

Entre em acordo sobre a tarefa e as pessoas afetadas

Uma parte interessada pode ter investido tempo, dinheiro ou assumido responsabilidade, influenciar o projeto ou ser afetada por seu resultado. No caso da padaria, o proprietário decide as quantidades de pães a produzir, os gerentes das lojas implementam mudanças e os clientes podem ser afetados se o pão acabar. Seus interesses estão relacionados, mas não são idênticos.

Pergunte qual problema deve ser resolvido, quem usará a resposta, que decisão tomará, como seria o sucesso e quando a resposta é necessária. Confirme o objetivo com a pessoa responsável pela decisão. Um gerente pode querer menos desperdício, enquanto os clientes também precisam de pão disponível até o fechamento.

A tarefa de negócio passa a ser: “Descobrir quanto pão cada loja descarta e em quais dias da semana, para que o proprietário possa ajustar as quantidades produzidas diariamente e reduzir o desperdício sem que o pão acabe nas lojas antes do fechamento.” Ela indica um problema mensurável, o detalhamento necessário e a decisão que apoia. “A padaria está indo bem?” precisa de uma definição de “bem” antes que a análise possa respondê-la.

Encontre registros adequados à tarefa

O analista precisa de duas fontes referentes às últimas quatro semanas: registros de produção dos pães produzidos e o sistema de ponto de venda para os pães vendidos, por loja e por dia. Três lojas ao longo de 28 dias fornecem 84 dias de loja. Essa cobertura esperada permite uma verificação prática: um dia ausente é uma lacuna a investigar, e não automaticamente um dia de produção zero.

Dados coletados pela própria padaria são dados próprios. Os registros de vendas de pão de um supermercado parceiro, compartilhados diretamente com a padaria, são dados de parceiros. Dados de mercado obtidos de um agregador externo que não os coletou diretamente são dados de terceiros. Esses rótulos descrevem a relação com a fonte; não comprovam a qualidade. Uma distância maior da coleta original pode dificultar a verificação dos registros.

Verifique antes de confiar em uma fonte

Verifique se os registros cobrem todos os locais e períodos necessários, estão atualizados e podem apresentar vieses devido à forma como foram coletados. Verifique se as regras de privacidade e as licenças permitem esse uso. O dia 17 está ausente do registro de produção da loja C. Registre essa lacuna durante a preparação para que ela possa ser resolvida e documentada durante o processamento.

Colete os campos que atendem à tarefa. Endereços de clientes não ajudam a calcular o desperdício de pão por loja a partir dos totais diários. Campos extras criam mais trabalho de limpeza e podem expor informações pessoais sem acrescentar uma resposta. Uma lista de fontes deve explicar de onde vieram os registros, o período que cobrem e as lacunas que ainda precisam ser resolvidas.

Os dois sistemas de origem da padaria não produzem automaticamente uma tabela de análise confiável. O processamento torna os registros utilizáveis e rastreáveis. A análise usa os registros verificados para responder quanto desperdício ocorre, onde ocorre e em quais dias.

Limpe mantendo um registro das alterações

O processamento identifica e corrige erros, remove duplicatas confirmadas, trata valores ausentes e padroniza formatos como datas, unidades e nomes de lojas. Verifique os dados limpos em relação às fontes. Mantenha um registro de limpeza de dados explicando o que mudou, por que e como.

Duas entradas duplicadas confirmadas da loja A no dia 9 são removidas e registradas. A quantidade ausente de pães produzidos na loja C no dia 17 é preenchida com base na programação do forno após confirmação com o gerente, e essa fonte é registrada. Uma linha que mostra 130 pães vendidos e 120 produzidos precisa ser investigada: pode ser um erro de registro ou pão de outra fonte. Adivinhar um valor para substituição criaria um valor sem fundamento.

Calcule o desperdício de cada loja

A taxa de desperdício mede a proporção da produção que não foi vendida:

Para a loja A, subtraia 3.780 de 4.200 para obter 420 e depois divida por 4.200 para obter 0,10. A loja C tem tanto a maior quantidade desperdiçada quanto a maior taxa, portanto merece uma investigação mais detalhada.

A taxa da rede usa os totais: 1.155 divididos por 10.500 equivalem a 11%. A média simples de 10%, 5% e 20% é de cerca de 11,7%, o que dá o mesmo peso a cada loja apesar dos diferentes volumes de produção. A taxa baseada nos totais responde qual proporção de todos os pães da rede foi desperdiçada.

Detalhe o resultado por dia da semana

Nas oito segundas e terças-feiras da loja C, foram produzidos 800 pães e vendidos 520. Subtraia para obter 280 desperdiçados e depois divida por 800 para obter 35%. Nos outros 20 dias, 2.000 produzidos e 1.720 vendidos também resultam em 280 desperdiçados, mas a taxa é de 14%. Quantidades iguais de desperdício podem, portanto, ocultar padrões de produção diferentes.

Isso identifica onde e quando o problema está concentrado. Não estabelece a razão. O gerente sugere que menos pessoas que trabalham em escritórios passam pela loja no início da semana; essa explicação precisa ser confirmada. Apresente-a separadamente do padrão medido por dia da semana.

Um resultado da análise se torna útil quando as pessoas certas o entendem e podem escolher uma ação. Compartilhar comunica a resposta e seus limites. Agir coloca uma decisão em prática e coleta as evidências necessárias para avaliar seu efeito.

Comece pela resposta de que o público precisa

O proprietário precisa dos números principais e de uma recomendação em uma página. Um gerente de loja precisa do padrão por dia da semana de sua loja. Um analista que revise o trabalho precisa da descrição das fontes e do registro de limpeza de dados. Adapte o detalhamento à decisão ou revisão que cada pessoa precisa fazer.

Um resumo para o proprietário poderia dizer: “Em quatro semanas, a rede desperdiçou 1.155 de 10.500 pães, ou 11%. A loja C desperdiçou 560 pães, cerca de 48% do desperdício da rede. Metade do desperdício da loja C ocorreu às segundas e terças-feiras, quando 35% de seus pães não foram vendidos.” Alguns gráficos claros podem apoiar essa mensagem; mostrar todos os gráficos exploratórios pode escondê-la.

Um resultado da análise descreve uma evidência: “A loja C desperdiça 20% de seus pães.” Uma recomendação propõe uma ação: “Reduzir a produção de pães da loja C às segundas e terças-feiras.” Identifique-os claramente para que uma proposta não seja confundida com um resultado observado.

Faça uma recomendação que possa ser testada

Uma proposta específica é um teste de quatro semanas com 30% menos pães produzidos às segundas e terças-feiras na loja C. O total inicial para esses dias é de 800 pães. Uma redução de 30% equivale a 240, restando 560. Se as vendas permanecerem em 520, apenas 40 ficariam sem venda nesses dias.

Mantenha os demais dias em 2.000 pães produzidos e 1.720 vendidos. Para todo o teste, a produção projetada é de 2.560 e as vendas permanecem em 2.240. O desperdício seria de 320 pães:

Essa é uma projeção baseada em uma premissa de vendas, não um resultado medido. O sucesso é uma taxa de desperdício abaixo de 15%, com o pão esgotado antes do fechamento em no máximo um dia por semana. A segunda medida impede que um desperdício menor esconda uma disponibilidade insuficiente.

Coloque a mudança em prática e acompanhe-a

O proprietário decide se aprova o teste. O analista pode ajudar a planejar a mudança e fornecer um relatório semanal de desperdício. A equipe da loja C altera a produção e registra o que acontece, inclusive quando o pão acaba cedo.

Comunique os limites relevantes: as evidências iniciais cobrem quatro semanas e o valor ausente de um dia foi recuperado da programação do forno. Esses detalhes afetam o grau de confiança com que o proprietário pode generalizar o padrão. Escondê-los faria as evidências parecerem mais fortes do que são.

Após o teste, analise os novos registros com o mesmo cálculo da taxa de desperdício e verifique a disponibilidade. Se o desperdício melhorar, mas o pão acabar cedo demais, a próxima análise perguntará como equilibrar os dois resultados. O acompanhamento dá à próxima rodada de perguntas, preparação e análise um ponto de partida concreto.

As habilidades analíticas ajudam você a resolver problemas usando fatos. O certificado do Google agrupa cinco habilidades: curiosidade, compreensão do contexto, mentalidade técnica, projeto de estruturação dos dados e estratégia de dados. Elas se desenvolvem com a prática e apoiam o trabalho ao longo de todo um projeto.

Pergunte e compreenda

A curiosidade leva você a investigar um resultado surpreendente. Se as devoluções de um produto dobrarem, pergunte o que mudou: o fornecedor, a tabela de tamanhos ou a foto do produto. O aumento é a observação inicial. A curiosidade o transforma em novas perguntas que podem explicá-lo.

Compreender o contexto significa saber onde, quando, como e por que os dados foram coletados. Um aumento nas vendas de guarda-chuvas durante uma semana chuvosa tem um significado diferente de um aumento durante um desconto em toda a loja. O contexto também inclui partes ausentes: um total regional exige verificar se todas as lojas foram incluídas.

Para aplicar essas habilidades juntas, primeiro observe o resultado incomum e depois pergunte sobre as condições ao seu redor. Uma conversa com alguém que conhece o trabalho pode revelar uma mudança que a própria tabela não registra. Essa explicação ainda precisa de evidências antes de se tornar uma conclusão.

Divida o problema em etapas

Uma mentalidade técnica é uma forma organizada de resolver um problema. Suponha que os cadastros em um site caiam. Verifique se menos pessoas o visitaram, se menos visitantes chegaram à página de cadastro e se menos pessoas que chegaram a ela preencheram o formulário. Cada verificação delimita onde ocorreu a queda.

Essa mentalidade é diferente de conhecer muitos recursos de software. Experimentar aleatoriamente funções de planilha eletrônica não cria uma investigação lógica. Uma pessoa que percorre as mesmas etapas no papel pode demonstrar uma forte mentalidade técnica antes de aprender a usar o software.

Organize as informações e o trabalho

O projeto de estruturação dos dados diz respeito à estrutura das informações. Um pedido pode conter vários produtos, portanto uma estrutura útil é uma linha por item do pedido, com colunas separadas para número do pedido, data, produto e quantidade. O número do pedido repetido conecta as linhas que pertencem ao mesmo pedido. Uma célula contendo todas as compras de um cliente como texto livre seria mais difícil de totalizar ou atualizar de forma confiável.

A estratégia de dados diz respeito às pessoas, aos processos e às ferramentas usados na análise. Uma equipe pode combinar que os registros de vendas sejam carregados em um banco de dados compartilhado todas as noites, definir quem mantém esse carregamento e decidir que os analistas trabalhem com essa fonte compartilhada. Isso evita cópias particulares separadas que passam a divergir.

O projeto de estruturação dos dados torna os registros utilizáveis; a estratégia de dados organiza o uso deles pela equipe. Uma tabela bem estruturada ainda pode ser usada incorretamente se ninguém souber qual versão está atualizada. Um processo compartilhado ainda pode ter dificuldades se quantidades e nomes de produtos estiverem misturados em um único campo.

Pensamento analítico significa definir um problema e resolvê-lo com dados de maneira organizada. Cinco aspectos ajudam a orientar esse pensamento: visualização, estratégia, orientação para a resolução de problemas, correlação e pensamento amplo e atento aos detalhes. Eles funcionam juntos como hábitos, não como cinco etapas concluídas uma única vez.

Enxergue um padrão e mantenha-o relevante

A visualização representa informações graficamente, usando um gráfico, mapa ou diagrama. Um gráfico de linhas com 365 totais diários de visitas a um site pode revelar um ritmo semanal difícil de enxergar em uma tabela longa. O gráfico apoia a investigação ao tornar um padrão visível.

A estratégia mantém o resultado pretendido em vista. Se o objetivo é entender a queda nos cadastros, um padrão interessante nas cores dos produtos pode não merecer investigação. Decida qual próximo passo ajuda a responder à tarefa de negócio e qual afastaria o trabalho dela.

A orientação para a resolução de problemas começa pelo problema que precisa ser resolvido. Ter um grande conjunto de dados não é, por si só, uma razão para calcular todas as medidas possíveis. Primeiro identifique a decisão ou dificuldade e depois pergunte como um cálculo ou gráfico proposto ajuda a tratá-la.

Separe uma relação de uma causa

Correlação significa que duas variáveis tendem a variar juntas. Em uma relação positiva, ambas tendem a aumentar ou diminuir juntas. Em uma relação negativa, uma tende a aumentar enquanto a outra diminui. Nenhuma das duas direções comprova que uma variável causa a outra.

Ao longo de um ano, as vendas de sorvete e os casos de queimadura solar atendidos em clínicas aumentam e diminuem juntos. Dias quentes e ensolarados aumentam ambos. O tempo é uma variável de confusão, um terceiro fator que influencia as duas variáveis. Restringir as vendas de sorvete não trataria a causa das queimaduras solares indicada por essa explicação.

Um padrão diagnóstico ajuda a identificar possíveis causas. Ele não elimina a necessidade de examinar outras explicações. Antes de agir com base em uma relação aparente, pergunte o que mudou em torno das duas variáveis e quais evidências poderiam distinguir as explicações concorrentes.

Alterne entre o todo e o detalhe

O pensamento amplo situa um problema nos objetivos e na situação mais gerais. O pensamento atento aos detalhes examina os fatos específicos que poderiam explicá-lo. Um produto que parece desaparecer de um relatório mensal é um resultado amplo. Um código de produto digitado novamente pode dividir seus registros em dois rótulos e explicar esse resultado.

Um analista pode percorrer esse exemplo nos dois sentidos. A pergunta de negócio estabelece por que o produto ausente importa. Uma verificação detalhada dos códigos e das linhas de origem testa se ele realmente desapareceu. Corrigir um problema confirmado de identificação pode então mudar o relatório mais amplo.

Um sintoma mostra que algo está errado. Uma causa raiz explica a razão subjacente pela qual isso acontece. Perguntas estruturadas ajudam você a seguir as evidências do problema visível até uma causa fundamentada, enquanto a análise de lacunas mostra a distância entre um resultado atual e uma meta.

Acompanhe uma sequência de porquês com evidências

A técnica dos cinco porquês começa com um problema e pergunta por que ele aconteceu. Cada resposta se torna a próxima pergunta. Verifique cada resposta com registros ou observações antes de construir outra explicação sobre ela. Cinco rodadas são uma orientação; as evidências determinam até onde a sequência precisa ir.

Considere entregas atrasadas:

1. As entregas chegam atrasadas porque os motoristas saem do centro de distribuição atrasados.
2. Os motoristas saem atrasados porque as vans são carregadas tarde.
3. O carregamento atrasa porque os pedidos chegam ao armazém somente após as 10h.
4. Os pedidos chegam nesse horário porque o sistema envia os pedidos da manhã em um único lote às 9h45.
5. Esse horário de envio do lote permanece de uma época em que havia muito menos pedidos.

Horários de saída, registros de carregamento e horários registrados pelo sistema podem testar essa explicação. O problema subjacente sustentado pelas evidências é uma programação de lotes desatualizada. Enviar pedidos continuamente ou em vários lotes durante a manhã trata esse problema. Dizer aos motoristas que se apressem manteria o atraso no fluxo de pedidos.

Não pare apenas porque uma resposta inicial sugere algo fácil de mudar. Da mesma forma, não invente uma quinta razão quando as evidências sustentarem uma sequência mais curta. O objetivo é chegar a uma causa subjacente fundamentada e escolher uma ação que a trate.

Meça a lacuna em relação a uma meta

A análise de lacunas identifica o estado atual, o estado desejado e as mudanças que podem superar a diferença entre eles. Uma clínica atualmente atende 82% das chamadas em até dois minutos e quer chegar a 95%. A diferença é de 13 pontos percentuais:

Uma diferença em pontos percentuais subtrai as duas porcentagens. Um aumento percentual relativo compara a mudança com a taxa inicial:

Chamar a lacuna de “13%” confunde essas duas medidas. Para planejar melhorias, a clínica também precisa investigar o processo por trás das chamadas não atendidas ou atendidas com atraso. A própria lacuna mede a distância até a meta; ela não identifica sua causa.

Teste a primeira explicação

Viés de confirmação é a tendência de perceber e acreditar em evidências que sustentam uma opinião existente. Se você começar com “os motoristas são descuidados”, poderá perceber as saídas atrasadas e ignorar o lote de pedidos enviado com atraso. Decida quais evidências fariam você mudar de ideia e procure-as ativamente.

Perguntas úteis incluem “O que não consideramos?” e “Onde estão as lacunas no processo?”. Elas ajudam a ampliar a investigação sem substituir as evidências. Uma história convincente e uma distância mensurável até a meta são pontos de partida úteis, mas a mudança proposta deve decorrer da causa sustentada pelos registros.

As equipes de dados dividem o trabalho de acordo com o que precisa ser construído, compreendido e comunicado. Os nomes dos cargos variam entre organizações, portanto as responsabilidades e os produtos são um guia mais confiável do que o nome do cargo isoladamente.

Conecte sistemas, tabelas e respostas

Um engenheiro de dados constrói e mantém fluxos de dados, bancos de dados e armazéns de dados. Os fluxos movimentam dados das fontes até onde são necessários. Um armazém de dados combina dados limpos de várias fontes para análise e produção de relatórios. Uma chegada e um armazenamento confiáveis permitem que outras pessoas trabalhem a partir de uma base segura.

Um engenheiro de analítica de dados transforma dados brutos do armazém em tabelas limpas e documentadas que os analistas podem consultar. Um arquiteto de dados projeta a estrutura geral dos sistemas de dados da organização. Um curador de dados cuida da qualidade, das definições compartilhadas e das regras de acesso. Essas responsabilidades tratam de diferentes camadas do mesmo ecossistema.

Um analista de dados coleta, limpa, investiga e apresenta dados para responder a perguntas específicas. Relatórios, gráficos e recomendações são produtos comuns. Analista de marketing, analista de operações e analista de dados em saúde indicam áreas em que esse trabalho é aplicado.

Torne relatórios contínuos e modelos úteis

Um analista ou desenvolvedor de inteligência de negócios (BI) cria e mantém relatórios periódicos e painéis de indicadores. O produto dá às pessoas acesso contínuo a números, como vendas por região toda segunda-feira. Um analista de dados também pode criar um painel; a distinção é um foco típico, não uma permissão exclusiva para realizar a tarefa.

Um cientista de dados usa estatística, programação e aprendizado de máquina para criar modelos de resultados ou padrões complexos e planeja experimentos para testar mudanças. Um engenheiro de aprendizado de máquina incorpora modelos a softwares em funcionamento e os mantém operando. Criar um modelo e operá-lo de forma confiável são responsabilidades relacionadas com exigências práticas diferentes.

Acompanhe a passagem do trabalho em uma pergunta

Um serviço de streaming quer entender os cancelamentos. O engenheiro de dados leva os registros de cobrança e visualização ao armazém diariamente. O analista de dados descobre que os cancelamentos são mais frequentes após uma mudança de preço e entre pessoas que assistem a menos de duas horas por mês. O desenvolvedor de BI acrescenta os cancelamentos ao painel semanal. O cientista de dados cria um modelo que estima quais assinantes provavelmente cancelarão.

O analista discute o padrão com as partes interessadas e os especialistas no assunto. Perguntas claras e explicações simples importam porque os responsáveis pela decisão precisam entender tanto o resultado da análise quanto o que ele não pode estabelecer. Uma correlação após uma mudança de preço é uma evidência a investigar, não uma prova automática da causa.

Em uma organização pequena, uma pessoa pode fazer vários desses trabalhos; uma organização maior pode separá-los em equipes. Em todas as funções, as pessoas devem proteger informações pessoais, usá-las para finalidades adequadas e verificar se conclusões ou ações prejudicam grupos injustamente.

Planilhas eletrônicas tornam uma tabela visível e fácil de explorar. SQL recupera dados de bancos de dados relacionais. Muitos projetos usam SQL para selecionar um resultado de tamanho manejável e uma planilha eletrônica para investigá-lo, portanto escolher um não exclui o outro.

Leia uma planilha e seus cálculos

Uma planilha eletrônica como Excel, Google Sheets ou LibreOffice Calc armazena valores em células. As colunas têm letras e as linhas têm números: B2 é a coluna B, linha 2. Um intervalo como B2:B4 inclui B2, B3 e B4.

Uma fórmula começa com um sinal de igual e calcula um valor. Uma função é um cálculo pronto com um nome, como SOMA, MÉDIA, CONT.NÚM, MÍNIMO ou MÁXIMO. =SOMA(B2:B4) soma três células. Referências permitem que fórmulas sejam recalculadas quando os valores de entrada mudam.

Coloque as lojas A, B e C da padaria nas linhas 2 a 4, as quantidades produzidas em B e as quantidades vendidas em C. Em D2, =B2-C2 fornece os 420 pães desperdiçados da loja A, a partir de 4.200 produzidos e 3.780 vendidos. Em E2, =D2/B2 fornece 0,1; a formatação como porcentagem exibe 10%. =SOMA(B2:B4) fornece os 10.500 pães produzidos pela rede.

A ordenação coloca as linhas em ordem por um campo, como o desperdício do maior para o menor. A filtragem exibe as linhas que atendem a uma condição, como apenas a loja C. Uma tabela dinâmica agrupa e resume registros, como o desperdício total de cada loja por dia da semana.

Leia uma consulta SQL simples

Um banco de dados relacional armazena tabelas ligadas por campos compartilhados, como um número de cliente. SQL, linguagem de consulta estruturada, solicita e gerencia dados nesses sistemas. Uma consulta é uma solicitação escrita:

SELECT shop, baked, sold
FROM daily_sales
WHERE shop = 'C';

SELECT indica as colunas retornadas. FROM indica a tabela. WHERE mantém apenas as linhas que atendem à condição. Essa consulta retorna shop, baked e sold para a loja C e apenas lê a tabela; ela não altera os registros armazenados.

Os sistemas de banco de dados usam dialetos SQL, incluindo PostgreSQL, MySQL, SQL Server, SQLite e BigQuery. Os comandos básicos são compartilhados, enquanto funções e detalhes podem ser diferentes.

Escolha de acordo com o trabalho

Uma planilha eletrônica é adequada para um conjunto de dados pequeno ou médio, um cálculo rápido e pontual e um público familiarizado com arquivos. SQL é adequado para dados já existentes em bancos de dados, tabelas grandes e perguntas recorrentes. Uma planilha do Excel tem no máximo 1.048.576 linhas e 16.384 colunas; um arquivo do Google Sheets tem no máximo 20 milhões de células. Os arquivos podem ficar lentos antes de atingir um limite.

Copiar e sobrescrever dados manualmente pode ser difícil de repetir ou auditar. Proteção da planilha, permissões e validação podem reduzir erros. Um banco de dados relacional acrescenta colunas estruturadas, tipos e regras para registros compartilhados. Ambos exigem uso cuidadoso; suas estruturas e controles são diferentes.

A ferramenta certa depende da tarefa, dos dados e das pessoas que precisam do resultado. Ferramentas de inteligência de negócios tornam os números acessíveis ao longo do tempo. Python e R permitem que analistas escrevam etapas de processamento e análise que podem ser repetidas, incluindo trabalhos grandes demais para uma planilha eletrônica.

Ofereça às pessoas uma visão contínua

Ferramentas de BI e visualização como Tableau, Power BI e Looker Studio conectam-se a planilhas eletrônicas, bancos de dados e serviços em nuvem. Elas transformam registros em gráficos e painéis interativos. Um painel de indicadores reúne números principais e gráficos em uma tela para monitorar uma situação.

A atualidade depende da conexão e do processo de atualização. Um painel que usa dados importados pode mostrar os valores de ontem até que uma atualização programada ou manual seja concluída com sucesso. Uma conexão direta pode consultar os dados atuais da fonte, mas a visualização exibida também pode precisar de atualização. Verifique a atualidade antes de interpretar o número exibido.

Um painel de vendas atualizado todas as manhãs pode permitir que os próprios gestores filtrem por região, produto e data. Ele é adequado a uma pergunta recorrente compartilhada por muitas pessoas. Criar uma nova apresentação pontual a cada manhã exigiria que o analista repetisse um trabalho que o painel pode fornecer.

Repita trabalhos complexos com código

Python é uma linguagem de programação de uso geral usada para software, automação e aprendizado de máquina, além de análise. Bibliotecas como pandas manipulam tabelas e Matplotlib cria gráficos. R foi criado para estatística e gráficos; ggplot2 e tidyverse são complementos comuns, e RStudio é um ambiente comum para usá-lo.

Ambas as linguagens podem carregar, limpar, analisar e visualizar dados. Um script pode ser executado com novas entradas sem repetir edições manuais. Um caderno computacional, como Jupyter, combina código, saída e texto explicativo em um único documento.

Reprodutibilidade significa que outra pessoa pode repetir a análise e obter o mesmo resultado. O código ajuda ao registrar suas etapas, mas um script compartilhado não basta se o analista também alterou os dados manualmente. Inclua todas as etapas de processamento, os dados de entrada, as versões de software e as configurações necessárias para a execução.

Monte uma combinação adequada de ferramentas

Para uma pergunta pontual de um gestor sobre vendas regionais a partir de uma exportação de 2.000 linhas, uma tabela dinâmica em uma planilha eletrônica pode ser suficiente. Para números semanais de uma equipe provenientes de um banco de dados, SQL alimentando um painel de BI atende a uma necessidade recorrente. Para 40 milhões de leituras de sensores limpas e modeladas todo mês, Python ou R podem apoiar o processamento em grande escala, com SQL extraindo os registros quando necessário.

Pergunte onde os dados estão, qual é seu tamanho, com que frequência o trabalho se repete, quem usará o resultado, se outras pessoas precisam verificá-lo e a que a organização oferece suporte. Uma ferramenta complicada não pode compensar uma pergunta pouco clara ou registros pouco confiáveis.

Assistentes de IA podem sugerir fórmulas, consultas ou resumos em muitas ferramentas. Verifique uma sugestão com os dados e entenda o que ela faz antes de confiar nela; uma saída que parece convincente ainda pode usar o campo, o filtro ou o cálculo errado.