Análise exploratória de dados em Python

A análise exploratória de dados, ou EDA, usa resumos e gráficos para conhecer o conteúdo de um conjunto de dados. Você procura problemas de qualidade, padrões e surpresas e depois os transforma em perguntas melhores. John Tukey desenvolveu e divulgou essa abordagem, sobretudo em seu livro Exploratory Data Analysis, de 1977.

Comece com uma decisão

Uma solicitação como “Como estão nossas entregas?” é ampla demais para orientar o primeiro cálculo. Pergunte qual decisão a análise apoiará e depois nomeie as variáveis e comparações relevantes. Perguntas úteis incluem “Qual é o tempo típico de entrega e quanto ele varia?”, “Que proporção dos pedidos leva mais de 45 minutos?”, “Os tempos diferem por cidade ou hora?” e “A mediana mensal mudou desde janeiro?”. Cada uma aponta para um resumo, gráfico ou comparação.

Antes de calcular, estabeleça de onde vieram os dados, como foram coletados, seu período e população e o significado e a unidade de cada coluna. Um aumento no preenchimento de campos pode refletir uma alteração que tornou um campo do formulário obrigatório. Esse contexto muda a explicação do padrão.

Saiba o que cada linha significa

A unidade de observação, também chamada de granularidade, é aquilo que uma linha representa. Pode ser um pedido, um item de um pedido, um cliente ou uma loja em um determinado dia. Uma tabela com 12.000 linhas de itens de pedidos e 4.000 IDs de pedidos distintos tem em média 3 linhas por pedido. Sua contagem de linhas descreve itens, então uma pergunta no nível do pedido exige uma contagem de pedidos. IDs de pedidos repetidos são esperados nessa tabela; seriam um problema de qualidade em uma tabela que deveria conter uma linha por pedido.

Trabalhe em ciclo

Um fluxo de trabalho útil é:

1. Formular as perguntas e a decisão que elas apoiam.
2. Carregar os dados e confirmar o significado de uma linha.
3. Caracterizar a estrutura, os tipos e a qualidade.
4. Examinar individualmente as variáveis importantes.
5. Explorar relações entre variáveis.
6. Comparar segmentos e períodos.
7. Registrar constatações, limitações e próximas perguntas.

Essas etapas formam um ciclo. Uma relação surpreendente pode levar você de volta à fonte para verificar unidades ou valores ausentes. Novos dados podem mudar a caracterização e reabrir perguntas anteriores. Começar com perguntas mantém a análise focada; manter-se aberto a surpresas preserva seu caráter exploratório. Representar graficamente todos os pares possíveis sem um propósito costuma criar uma longa coleção de gráficos com pouco a explicar.

Distinga uma pista de uma confirmação

A exploração gera hipóteses. A análise confirmatória verifica uma hipótese formulada antecipadamente, de preferência usando dados que não revelaram o padrão. Examinar muitos gráficos aumenta a probabilidade de encontrar padrões ao acaso, então um resultado exploratório marcante precisa de investigação posterior antes de sustentar uma afirmação geral. A EDA ajuda a preparar esse trabalho mostrando variáveis utilizáveis, distribuições assimétricas e relações promissoras.

A cobertura dos dados também define o alcance de uma constatação. Avaliações de produtos vêm de pessoas que escolheram escrevê-las. Suas notas descrevem essas pessoas; estender o resultado a todos os clientes exige evidências sobre como os respondentes diferem dos demais.

Um caderno Jupyter combina código, saídas e explicações em Markdown. Seu núcleo de execução é o processo Python que mantém variáveis na memória. Ele lembra a ordem em que as células foram executadas, que pode diferir da ordem visível na página.

Elimine o estado oculto

Suponha que você execute uma célula que cria clean, exclua essa célula e continue usando clean abaixo. A sessão atual ainda funciona porque a variável permanece na memória. Uma nova sessão falha porque o caderno não contém mais sua definição. Editar uma célula inicial após executar cálculos posteriores também pode deixar saídas antigas ao lado de código novo.

Contadores de execução como [7] ajudam a revelar execuções fora de ordem. O teste prático é mais forte: no JupyterLab, escolha Kernel → Restart Kernel and Run All Cells. Verifique se o caderno inteiro termina e se seus números correspondem às saídas que você pretende compartilhar.

Coloque as dependências em uma ordem clara

Comece com título, objetivo e perguntas. Em seguida, coloque as importações e uma célula de configurações, depois seções para carregamento, verificações de qualidade, distribuições, relações, comparações e constatações. Por exemplo:

from pathlib import Path
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
import seaborn as sns

DATA = Path("data/raw/orders.csv")
LATE_MINUTES = 45
SEED = 42

df = pd.read_csv(DATA)

Um caminho relativo funciona dentro da estrutura compartilhada do projeto. Um caminho vinculado à área de trabalho de uma pessoa deixa de funcionar quando o projeto é movido. Informe o diretório de trabalho usado para executar o caderno, para que o caminho relativo seja resolvido corretamente. Preserve os arquivos brutos e salve os dados processados separadamente. Faça alterações em código: uma edição manual em planilha fica invisível na próxima execução.

Registre o ambiente e as escolhas aleatórias

Salve as versões dos pacotes em um arquivo de ambiente, como a saída de pip freeze > requirements.txt, e imprima versões importantes no caderno com print(pd.__version__). O comportamento muda entre versões: o pandas 3 fornece ao texto um tipo de dados específico str, e um DataFrame com texto precisa de uma seleção numérica explícita para correlação.

Um gráfico amostrado deve mostrar as mesmas observações em cada nova execução. Use df.sample(n=1000, random_state=42) quando houver pelo menos 1.000 linhas disponíveis, ou crie um gerador do NumPy com rng = np.random.default_rng(42). Registre a semente junto com as outras configurações. Uma semente controla escolhas aleatórias; reproduzir toda a saída também exige as mesmas entradas e os mesmos programas.

Torne os pressupostos executáveis

Transforme expectativas importantes em verificações:

assert df["order_id"].is_unique
assert df["minutes"].ge(0).all()

A primeira exige um ID de pedido único por linha. A segunda exige que toda duração seja não negativa e esteja presente para dados comuns de ponto flutuante. Se tempos ausentes forem permitidos, defina uma verificação separada de ausência e aplique a regra de intervalo apenas aos tempos registrados. Uma asserção que falha interrompe a execução no ponto em que a entrada viola pela primeira vez o contrato esperado.

Coloque procedimentos repetidos em funções para que uma correção atualize todos os usos. Mantenha código e cadernos sob controle de versão. As saídas dos cadernos são armazenadas em seu JSON, o que pode dificultar a comparação de alterações; limpar as saídas antes de um commit ou associar o caderno a um script de texto por meio do Jupytext pode ajudar.

Uma primeira inspeção estabelece o tamanho da tabela, o que suas colunas representam e se os tipos armazenados são adequados a esses significados. Essa caracterização ajuda você a escolher resumos apropriados antes de confiar na saída de um comando conveniente.

Inspecione a estrutura de vários ângulos

Use df.shape para as contagens de linhas e colunas, df.head() e df.tail() para as extremidades do arquivo e df.sample(5, random_state=0) para uma amostra reproduzível quando houver pelo menos cinco linhas. As primeiras linhas podem pertencer todas à data mais antiga ou à mesma loja. Execute df.info() para inspecionar nomes de colunas, contagens de valores não nulos, tipos de dados e uso de memória. Use df.nunique() para contar os valores registrados distintos em cada coluna.

Separe significado de armazenamento

Um tipo de dados inteiro não transforma toda coluna em uma quantidade. Códigos de região e IDs de clientes têm armazenamento numérico, mas nenhuma média aritmética útil. Uma avaliação de 1 a 5 tem um pequeno conjunto de respostas ordenadas e muitas vezes se beneficia de uma apresentação categórica.

O pandas costuma usar int64, float64, bool, datetime64, category e, a partir do pandas 3, str. Versões anteriores do pandas frequentemente usavam object para texto. Dados inteiros comuns podem se tornar float64 quando há valores ausentes porque NaN é um marcador de ponto flutuante; o tipo Int64, com suporte a valores ausentes, permite inteiros com valores ausentes.

Verifique conversões e chaves

Uma string com aparência numérica pode ocultar separadores, unidades ou códigos de ausência. Para uma Series que contém “1,234”, “950”, “n/a” e “1,010”:

parsed = pd.to_numeric(
    s.str.replace(",", ""), errors="coerce"
)

Os valores tornam-se 1234,0, 950,0, NaN e 1010,0. Compare as contagens de valores ausentes antes e depois da conversão e inspecione as entradas que passaram a estar ausentes. A coerção também transforma um valor não tratado como “12 kg” em NaN, então uma execução bem-sucedida não basta para mostrar que a conversão preservou os dados.

Leia códigos com zeros iniciais significativos como texto, por exemplo pd.read_csv(path, dtype={"postal_code": "str"}). Recuperar um zero perdido posteriormente exige conhecimento que a representação inteira descartou.

Identifique a chave esperada da linha. df["order_id"].is_unique verifica uma chave de uma coluna; df.duplicated(subset=["store_id", "date"]).sum() verifica combinações repetidas de loja e data. Relacione as contagens de chaves ao significado da linha. Uma coluna com um único valor não pode explicar diferenças dentro desse conjunto de dados; milhares de supostas categorias de cidades podem indicar rótulos inconsistentes.

Complete um dicionário de dados durante a inspeção: registre o significado, o tipo para análise, a unidade, os valores permitidos e os problemas conhecidos de cada coluna. Essas informações fornecem as regras para as próximas verificações de qualidade.

Valores ausentes alteram quais observações contribuem para um resultado. Registros duplicados podem dar peso extra a algumas observações. Quantifique ambos antes de escolher um tratamento e mantenha a decisão visível na análise.

Quantifique a ausência e seu padrão

O pandas usa NaN, NaT para datas e horas ausentes e <NA> para tipos com suporte a valores ausentes. Conte e ordene a ausência com:

missing_count = df.isna().sum()
missing_share = df.isna().mean().sort_values(ascending=False)
rows_with_gaps = df.isna().any(axis=1).sum()

Uma média booleana fornece uma proporção porque True conta como 1 e False como 0. Com 96 idades ausentes entre 1.200 linhas, a proporção de valores ausentes é 8%. As linhas com alguma lacuna podem ser muito mais numerosas que as entradas ausentes em uma coluna; essa é a perda de linhas que uma aplicação indiscriminada de df.dropna() causaria.

Algumas lacunas se escondem por trás de valores comuns. A leitura padrão de CSV reconhece muitos marcadores vazios e textuais de ausência, mas códigos como -999, “unknown” e “?” podem permanecer. Inspecione frequências e extremos, consulte o dicionário de dados e declare marcadores adicionais com na_values. O zero precisa de contexto: pode significar nenhuma devolução ou ser um marcador não documentado.

Verifique se as lacunas se concentram em um segmento:

age_gaps = df["customer_age"].isna()
age_gaps.groupby(df["city"]).mean()

Se uma cidade tem 40% de idades ausentes e as outras cerca de 2%, uma análise de linhas completas representará essa cidade em menor proporção. Os termos MCAR, MAR e MNAR descrevem mecanismos diferentes: ausência não relacionada aos valores observados ou ausentes; ausência que depende apenas de variáveis observadas; e ausência que depende do próprio valor ausente. Respondentes de alta renda que deixam de responder a uma pergunta sobre renda exemplificam MNAR. A EDA pode detectar relações com variáveis registradas; determinar o mecanismo completo exige mais evidências sobre a coleta.

Nomeie o denominador

Para 6 pagamentos com cartão, 2 em dinheiro e 2 lacunas, value_counts(normalize=True) informa 75% para cartão e 25% para dinheiro entre os 8 pagamentos registrados. Acrescentar dropna=False informa 60% para cartão, 20% para dinheiro e 20% de ausentes entre todas as 10 linhas. Uma tabela não responde à pergunta da outra. Identifique a população por trás de cada proporção.

Inspecione duplicatas de linhas completas e de chaves

df.duplicated().sum() conta as cópias após a primeira ocorrência de cada linha completa. Uma verificação por chave pode encontrar registros conflitantes que não são idênticos:

repeated = df["order_id"].duplicated(keep=False)
df.loc[repeated].sort_values("order_id")

Considere os IDs 101, 102, 102, 103, 104, 104 com valores 20, 35, 35, 12, 50, 55. Há 1 linha inteiramente duplicada, 2 ocorrências de chaves repetidas após a primeira e 4 linhas envolvidas em chaves repetidas. Os dois registros 104 discordam quanto ao valor, então excluir uma cópia sem investigação poderia descartar o valor correto.

Registre a contagem, a causa provável, o tratamento e as linhas afetadas para cada problema. Remover todas as lacunas pode eliminar um subconjunto enviesado; preenchê-las com a média oculta seu padrão e reduz a dispersão aparente. Escolha um tratamento adequado à pergunta e ao processo de coleta e mantenha a ausência original mensurável.

Um valor é válido quando atende ao intervalo ou conjunto permitido para sua coluna. Os registros são consistentes quando seus valores concordam entre colunas, linhas e fontes. Construa verificações com base no dicionário de dados e no conhecimento do processo que criou os dados.

Verifique intervalos sem misturar lacunas

Comece por mínimos e máximos e depois teste limites explícitos. Para contar idades registradas fora de 0–120:

invalid_age = df["age"].notna() & ~df["age"].between(0, 120)
invalid_age.sum()

between retorna False para valores ausentes. Negá-lo isoladamente contaria idades ausentes como inválidas; a verificação de presença separa os problemas. Outras regras podem exigir quantidades não negativas, porcentagens não superiores a 100 ou datas de extração não anteriores aos eventos contidos nos dados. O intervalo permitido vem do significado da coluna.

Concilie rótulos e colunas

“Lyon”, “lyon” e “ Lyon” são três strings, mesmo quando nomeiam a mesma cidade. Contagens de 410, 22 e 5 tornam-se 437 para “lyon” após uma remoção justificada de espaços e conversão de maiúsculas e minúsculas:

city_clean = df["city"].str.strip().str.lower()

Compare as contagens de categorias antes e depois. Variações de grafia e sinônimos precisam de um mapeamento explícito; mudar apenas maiúsculas e minúsculas não consegue unir “UK” e “United Kingdom”. Guarde a regra usada para que uma nova execução tome a mesma decisão.

Verificações entre colunas procuram contradições. df.query("delivered_at < ordered_at") encontra entregas registradas antes dos pedidos. Outras verificações perguntam se os valores dos itens somam o total, se a idade concorda com a data de nascimento ou se um pedido cancelado tem um horário de entrega inesperado. Essas regras exigem unidades, convenções de tempo e definições compartilhadas entre as colunas.

Procure mudanças de escala e cobertura

Quilogramas e gramas misturados podem criar agrupamentos separados por um fator de aproximadamente 1.000. Uma proporção registrada em parte na escala de 0–1 e em parte na escala de 0–100 também cria uma distribuição enganosa. Verifique a fonte antes de converter: dois agrupamentos também podem representar duas populações reais. Um gráfico sugere onde investigar; a fonte estabelece quais unidades se aplicam.

Inspecione as datas mais antiga e mais recente e as contagens por mês. Um mês ausente pode ser uma lacuna na extração, enquanto um último mês parcial naturalmente contém menos registros. Um aumento repentino pode refletir um novo sistema de registro. Registre a cobertura que você realmente tem antes de relatar um padrão temporal.

Mantenha um registro de qualidade

Use uma pequena tabela com o problema, a verificação, o número de linhas afetadas, a evidência e a ação. Por exemplo, uma duração negativa pode ser sinalizada por uma regra de tempo não negativo, investigada com base nas marcas temporais e corrigida apenas quando a fonte estabelecer seu valor verdadeiro. Expectativas importantes podem se tornar asserções que interrompem uma execução futura.

Uma entrega de 120 minutos é incomum, mas possível. Uma duração de −5 minutos é impossível sob a mesma definição de duração. A primeira exige uma investigação de valor atípico; a segunda exige uma investigação de erro.

Uma distribuição numérica descreve quais valores ocorrem e com que frequência. Sua tendência central indica uma posição típica, sua dispersão mostra a variação e sua forma revela o que esses resumos deixam de fora. Use um gráfico junto com os números.

Escolha resumos adequados à distribuição

A média é a soma dividida pela contagem. A mediana é o valor central ordenado, ou a média dos dois valores centrais quando a contagem é par. A amplitude é o máximo menos o mínimo. A amplitude interquartil, ou IQR, é Q3 menos Q1: a distância entre os percentis 75 e 25. O desvio padrão mede a dispersão em torno da média nas próprias unidades da variável.

No pandas, s.std() usa o cálculo amostral com ddof=1, dividindo o total dos desvios ao quadrado pela contagem menos um. No NumPy, np.std(a) usa ddof=0 por padrão, dividindo pela contagem. Isso importa especialmente com amostras pequenas, então use configurações correspondentes ao comparar resultados.

Leia o resumo antes de interpretá-lo

s = df["minutes"]
s.describe(percentiles=[0.1, 0.5, 0.9])

O resultado inclui a contagem de valores não ausentes, média, desvio padrão, mínimo, percentis solicitados e máximo. A entrada de 50% é a mediana. Em um DataFrame, describe() abrange colunas numéricas e de data e hora por padrão; os resumos de data e hora incluem sua média e seus percentis. describe(include="all") também resume outras colunas. Colunas de texto e categóricas recebem count, unique, top e freq, em que top é um valor mais frequente e freq é sua contagem. Exclua identificadores numéricos de resumos aritméticos.

Analise uma cauda longa à direita

Considere tempos de entrega de 18, 22, 25, 25, 27, 29, 31, 34, 38, 41 e 95 minutos. Sua soma é 385 e sua contagem é 11, então a média é 35,0 minutos. O sexto valor ordenado é 29, que fornece a mediana. O pandas fornece Q1 = 25, Q3 = 36, IQR = 11 e desvio padrão amostral de cerca de 21,02 minutos.

Sem a entrega de 95 minutos, a média é 29,0, a mediana 28 e o desvio padrão cerca de 7,15. Um valor altera a média em 6 minutos e aproximadamente triplica o desvio padrão; a mediana muda 1 minuto. Por isso, a mediana e a IQR são resumos resistentes úteis para dados com valores extremos. Uma distribuição aproximadamente simétrica sem valores extremos costuma ser bem descrita por sua média e seu desvio padrão.

Descreva a cauda e posições úteis

A assimetria à direita tem uma cauda longa de valores altos; a assimetria à esquerda tem uma cauda longa de valores baixos. A média costuma ficar na direção da cauda longa em relação à mediana, mas verifique a forma porque essa regra prática tem exceções. s.skew() é positivo para uma cauda à direita e negativo para uma cauda à esquerda; é cerca de 2,71 para esses tempos de entrega.

s.quantile(0.9) fornece aqui 41 minutos, uma descrição útil da parte superior da distribuição. Uma das 11 entregas ultrapassa 45 minutos, cerca de 9,1%. Calcule proporções acima de limites usando os valores registrados quando houver lacunas. Quartis de amostras pequenas podem diferir entre programas: o pandas usa interpolação linear por padrão. Registre o método quando quartis exatos forem importantes.

Um gráfico de distribuição revela caudas, picos, lacunas e limites que uma medida de tendência central isolada oculta. Cada gráfico enfatiza características diferentes, então escolha-o de acordo com a pergunta e verifique como as escolhas de exibição afetam a imagem.

Use intervalos de classe significativos no histograma

Um histograma divide uma escala numérica em intervalos e conta as observações em cada um. sns.histplot(data=df, x="minutes", binwidth=5) usa intervalos de cinco minutos. O seaborn escolhe intervalos automaticamente por padrão; os histogramas do pandas e do Matplotlib usam 10 por padrão. Experimente várias configurações razoáveis de intervalos. Um intervalo muito amplo pode unir dois picos, enquanto intervalos muito estreitos podem transformar ruído amostral em estrutura aparente. Para contagens inteiras, discrete=True centraliza uma barra em cada inteiro.

Descreva a forma como simétrica, assimétrica à direita ou à esquerda, uniforme ou com um, dois ou vários picos. Procure lacunas, tetos e pisos. Picos em valores redondos, como 30 e 60 minutos, podem refletir concentração em valores arredondados por pessoas que informaram tempos arredondados. Dois picos perto de 25 e 50 minutos podem refletir entregas de bicicleta e de carro. Acrescentar hue="vehicle" verifica se esses grupos explicam a separação.

Compare os principais tipos de gráfico

Uma estimativa de densidade por núcleo, ou KDE, suaviza as observações em uma curva. sns.kdeplot(data=df, x="minutes") pode ajudar, mas a largura de banda muda sua forma. A suavização pode ocultar tetos ou se estender abaixo de zero mesmo quando as durações são não negativas. Interprete essa extensão como uma característica da estimativa, não como durações negativas observadas.

Um diagrama de caixa desenha a mediana dentro de uma caixa de Q1 a Q3. Os bigodes padrão alcançam os valores observados mais extremos que ainda estão a até 1,5 IQR da caixa; pontos mais distantes aparecem separadamente. Um bigode, portanto, não é necessariamente o mínimo ou o máximo, e sua extremidade é um valor observado, não o limite calculado.

Leia proporções acumuladas e escalas multiplicativas

sns.ecdfplot(data=df, x="minutes")

Uma ECDF mostra a proporção menor ou igual a cada valor. Leia horizontalmente a partir de uma proporção como 0,9 para localizar um percentil. Ela evita a escolha de intervalos de classe de um histograma e é útil para comparar a frequência com que os valores ficam abaixo de um limite.

Uma escala logarítmica ajuda com dados positivos que abrangem grandes razões. Em uma escala de base 10, 10, 100 e 1.000 ficam igualmente espaçados porque cada passo multiplica por 10. Logaritmos reais comuns exigem valores positivos; np.log1p(x) calcula o logaritmo natural de um mais o valor e trata zero em dados não negativos.

Ao comparar grupos de tamanhos diferentes, normalize dentro de cada grupo usando stat="percent", common_norm=False ou use painéis com eixos compartilhados. Termine com uma descrição numérica, como “Os tempos de entrega são assimétricos à direita, com mediana de 29 minutos e metade dos pedidos entre 25 e 36 minutos; um pedido levou 95 minutos.”

Resumos categóricos contam observações em grupos nomeados. Seu significado depende dos rótulos, de sua ordem e da população usada para cada porcentagem. Um código numérico de categoria ainda exige um resumo categórico.

Construa uma tabela de frequências

s.value_counts() lista categorias da mais à menos frequente. Use normalize=True para proporções e dropna=False para incluir uma linha de valores ausentes. Para texto, describe() informa o número registrado, o número de valores distintos, um valor mais frequente e sua contagem.

Em 200 respostas a uma pesquisa, 30 avaliações são “baixo”, 50 são “médio” e 120 são “alto”. Dividir cada contagem por 200 fornece 15%, 25% e 60%. Se essas forem as 200 pessoas que responderam a uma pergunta em uma pesquisa maior, as porcentagens descrevem os respondentes daquela pergunta. Respostas ausentes mudam o denominador quando incluídas.

Preserve uma ordem significativa

Categorias nominais como cidades não têm ordem inerente; ordenar por frequência pode facilitar comparações. Categorias ordinais têm uma ordem natural que deve permanecer visível:

order = ["low", "medium", "high"]
counts = s.value_counts().reindex(order, fill_value=0)

Um tipo categórico ordenado registra a ordem para ordenação, comparações e gráficos. Seu value_counts() ainda ordena por frequência por padrão; use sort=False ou reindexe explicitamente as contagens. Um gráfico ordenado como “alto”, “médio”, “baixo” por frequência pode tornar a escala mais difícil de reconhecer.

Mantenha rótulos raros e lacunas separados

Quando muitas categorias tornam um gráfico ilegível, mantenha os rótulos mais comuns e reúna os demais como “Other”:

top = s.value_counts().nlargest(5).index
grouped = s.where(s.isna() | s.isin(top), "Other")

A presença de s.isna() mantém as lacunas como ausentes. Sem ela, entradas ausentes também se tornariam “Other”, misturando respostas ausentes com respostas raras reais. Informe quantos rótulos e observações foram combinados. Verifique se uma categoria rara importante para a pergunta não desapareceu no grupo combinado.

Gráficos de barras horizontais são adequados para rótulos longos. Por exemplo, sns.countplot(data=df, y="city", order=df["city"].value_counts().index) ordena as contagens de cidades. Comece o eixo de contagem em zero porque o comprimento da barra representa o número de observações. Um gráfico de setores fica difícil de comparar quando contém muitos setores.

Transforme intervalos numéricos em categorias rotuladas

bands = pd.cut(
    df["minutes"], bins=[0, 30, 45, np.inf],
    labels=["up to 30", "over 30 to 45", "over 45"],
    include_lowest=True
)

Os intervalos fechados à direita padrão colocam 30 na primeira faixa e 45 na segunda. include_lowest=True também inclui 0 na primeira faixa. Valores fora desses intervalos tornam-se ausentes no resultado discretizado, então valide durações negativas antes de interpretar sua contagem de ausentes. Registre os limites porque um rótulo como “30–45”, sozinho, deixa o tratamento de 30 pouco claro.

Para códigos nominais, mapeie 1 e 2 para seus rótulos de região antes de exibi-los. Calcular a média de códigos de região descreveria sua numeração arbitrária, não a distribuição das regiões.

Um valor atípico está distante da maior parte dos dados segundo uma regra e um contexto definidos. Pode ser um erro de registro, um evento raro real ou um membro de um grupo distinto. Uma sinalização inicia uma investigação.

Calcule os limites da IQR

A regra da IQR sinaliza valores abaixo ou acima destes limites:

Para os tempos de entrega 18, 22, 25, 25, 27, 29, 31, 34, 38, 41 e 95, Q1 é 25 e Q3 é 36. A IQR é 11, então o limite inferior é 8,5 e o superior é 52,5. O pedido de 95 minutos é sinalizado.

q1, q3 = s.quantile([0.25, 0.75])
iqr = q3 - q1
flag = (s < q1 - 1.5 * iqr) | (s > q3 + 1.5 * iqr)

Esses são os limites padrão que fundamentam os pontos atípicos do diagrama de caixa. Um valor exatamente em um limite está dentro dele. Em uma cauda longa à direita, a regra pode sinalizar muitos valores altos reais.

Entenda o mascaramento e os escores robustos

Um escore z mede a distância da média em unidades de desvio padrão:

Uma sinalização comum é um escore z absoluto maior que 3. Aqui a média é 35 e o desvio padrão amostral é cerca de 21,02, então 95 fornece um escore z de cerca de 2,85. O valor extremo aumentou justamente a medida de tendência central e a dispersão usadas para avaliá-lo. Esse efeito, chamado mascaramento, pode fazer um valor incomum escapar da regra. A regra também se ajusta melhor a distribuições aproximadamente simétricas do que a distribuições assimétricas.

O desvio absoluto mediano, ou MAD, é a mediana das distâncias absolutas em relação à mediana. Ele usa medidas resistentes. Um escore z modificado é:

Aqui a mediana é 29 e o MAD é 5. Para 95 minutos, o escore modificado é cerca de 8,90, ultrapassando o limite absoluto comum de 3,5. Se o MAD for zero, essa divisão é indefinida; inspecione os valores repetidos e use outra verificação justificada em vez de relatar um escore infinito como resultado medido.

Investigue antes de alterar dados

As regras do domínio de aplicação vêm primeiro. Uma duração de tempo decorrido negativa é um erro sob essa definição, independentemente de seu escore estatístico. Para um possível valor extremo, inspecione a linha inteira, suas marcas temporais, distância, grupo e fonte. Uma tempestade ou uma rota longa pode explicar uma entrega demorada.

Comparar resultados com e sem a observação é uma análise de sensibilidade. Limitar valores extremos a um percentil selecionado, chamado de winsorização, é outra transformação deliberada; informe o limite e que os valores foram alterados. Inspecione também combinações incomuns: duas medidas individualmente plausíveis podem formar um ponto raro em um gráfico de dispersão.

Um gráfico de dispersão coloca uma observação em cada par de valores numéricos. Coloque uma possível variável explicativa no eixo horizontal e a resposta no eixo vertical. O gráfico ajuda você a ver a forma de uma relação antes de resumi-la em um coeficiente.

Descreva quatro características

Use direção, forma, intensidade e pontos incomuns. Direção positiva significa que a resposta tende a aumentar conforme a variável horizontal aumenta; negativa significa que tende a diminuir. A forma pode ser reta, curva ou dividida em agrupamentos. A intensidade descreve o quanto os pontos acompanham essa forma, que pode ser forte mesmo quando é curva.

Para temperaturas de 8, 12, 15, 18, 21, 24, 27 e 30 °C, os aluguéis diários de bicicletas são 310, 420, 515, 600, 690, 760, 800 e 780. A relação é forte e positiva no geral. É quase linear até cerca de 27 °C, depois se estabiliza e cai ligeiramente. Descrevê-la apenas como “positiva” deixa de captar a mudança nas temperaturas mais altas.

sns.scatterplot(data=df, x="temp_c", y="rentals")

Torne gráficos densos legíveis

Com muitas linhas, os pontos cobrem uns aos outros: a sobreposição excessiva oculta onde as observações se concentram. Marcadores menores e alpha=0.2 revelam parte da densidade por meio da transparência. Um gráfico de células hexagonais agrega observações em hexágonos:

df.plot.hexbin(x="distance_km", y="minutes", gridsize=30)

Um sns.histplot bidimensional fornece uma visão semelhante com intervalos retangulares. Uma amostra aleatória pode reduzir a sobreposição; fixe sua semente para que novas execuções mostrem o mesmo subconjunto. Quando um eixo assume apenas alguns valores, pequenos deslocamentos aleatórios espalham os pontos sobrepostos para facilitar a visualização. Esses deslocamentos são movimentos de exibição, não precisão adicional medida.

Acrescente grupos e verifique uma linha ajustada

Use hue="season" para cor ou sns.relplot(..., col="season") para painéis separados. Uma nuvem combinada pode conter agrupamentos sazonais distintos. O tamanho dos marcadores pode representar outra quantidade quando seu significado permanece claro.

sns.regplot(data=df, x="temp_c", y="rentals") acrescenta uma reta de mínimos quadrados e uma faixa sombreada de incerteza. Uma reta ajuda na visualização, mas pode deixar de mostrar uma curvatura. lowess=True desenha uma curva suave quando a dependência statsmodels está instalada. Inspecione as observações antes de escolher qualquer uma das exibições.

Para uma pequena seleção de variáveis, uma matriz de gráficos de pares desenha seus gráficos de dispersão aos pares e suas distribuições individuais. Por exemplo, use comprimento do bico em mm, comprimento da nadadeira em mm, massa corporal em g e espécie como grupo de cor. Cerca de três a seis variáveis numéricas permanecem legíveis; acrescentar muitas outras cria uma parede de pequenos painéis.

Investigue a concentração e tendências temporais compartilhadas

Eixos logarítmicos podem espalhar valores positivos que abrangem grandes razões, como população e consumo total de energia. Mantenha a escala visível nos rótulos. Quando um ponto extremo determina uma escala enorme para os eixos, inspecione-o e acrescente uma visão claramente identificada da maior parte dos dados para que o padrão restante fique visível.

Duas variáveis também podem formar um padrão porque ambas crescem ao longo do tempo. Colora os pontos por data ou represente cada série em função do tempo. Essa verificação pode revelar se a relação aparente é principalmente uma tendência compartilhada.

Um coeficiente de correlação resume um aspecto da associação. Escolha o coeficiente para a relação que você quer descrever e leia-o junto com um gráfico e o número de observações utilizáveis.

Pearson mede uma relação em linha reta

O coeficiente de Pearson é o total dos produtos cruzados centrados dividido pelo produto dos comprimentos centrados:

Seu intervalo vai de −1 a 1. O sinal indica a direção e a magnitude indica a intensidade linear. Valores positivos ou negativos perfeitos significam que todos os pontos utilizáveis estão em uma reta, com variação em ambas as variáveis. O coeficiente não tem unidade, não muda ao trocar os eixos e não muda com uma conversão positiva entre unidades de medida.

Um coeficiente próximo de zero significa pouca associação linear. Para entradas −3, −2, −1, 0, 1, 2, 3 e saídas iguais a seus quadrados, a correlação de Pearson é exatamente zero apesar de uma relação perfeita em forma de U. Correlação também difere de inclinação: uma reta pouco inclinada pode ter correlação alta.

Métodos por postos descrevem a ordenação

A correlação de Spearman calcula a correlação de Pearson sobre postos e descreve a associação monotônica: os valores tendem a subir ou descer de forma consistente, mesmo ao longo de uma curva. O tau de Kendall compara pares concordantes de observações, ordenados da mesma forma nas duas variáveis, com pares discordantes, ordenados de forma oposta. Métodos por postos são menos sensíveis a magnitudes extremas que Pearson.

Para o exemplo de temperatura e aluguéis, Pearson é 0,974, Spearman 0,976 e Kendall 0,929. O gráfico de dispersão ainda revela a estabilização acima de cerca de 27 °C. Um coeficiente alto pode coexistir com curvatura importante.

Calcule uma matriz com cuidado

cols = ["temp_c", "rentals", "distance_km"]
corr = df[cols].corr(method="spearman")
sns.heatmap(corr, annot=True, fmt=".2f",
            vmin=-1, vmax=1, center=0, cmap="vlag")

Para um DataFrame misto, df.corr(numeric_only=True) seleciona colunas numéricas; exclua também identificadores e códigos de categorias que não tenham uma relação numérica significativa. Valores ausentes são excluídos par a par, então células da matriz podem descrever subconjuntos diferentes. Verifique a contagem utilizável de cada par. A matriz é simétrica. A correlação de uma variável consigo mesma é 1 onde está definida; uma coluna constante tem correlação indefinida e apresenta valores ausentes em sua linha, coluna e entrada diagonal.

Verifique a sensibilidade à geometria dos dados

Para entradas de 1 a 10 e saídas 3, 1, 4, 2, 5, 3, 4, 2, 5, 3, Pearson é cerca de 0,307. Acrescentar o único ponto (30, 30) eleva o valor a 0,938; Spearman passa a cerca de 0,462. Um ponto pode dominar Pearson enquanto a maior parte dos dados mantém um padrão fraco.

O quarteto de Anscombe torna a mesma lição visível: quatro conjuntos de dados compartilham média de entrada 9, média de saída 7,50, variância de entrada 11, correlação próxima de 0,816 e reta ajustada $y=\mathrm{3,00}+\mathrm{0,500}x$, mas seus gráficos mostram uma nuvem, uma curva e diferentes pontos influentes. Informe o valor e a contagem junto com qualquer rótulo verbal de intensidade; as áreas têm convenções diferentes para rótulos como “forte”.

Uma associação descreve como variáveis ocorrem juntas nos dados observados. Sua causa precisa de uma explicação separada. Possíveis origens incluem um efeito causal, causalidade reversa, uma terceira variável, seleção e acaso.

Pergunte o que poderia explicar a relação

Uma variável de confusão influencia ambas as variáveis e cria ou distorce sua associação. O calor aumenta as vendas de sorvete e os acidentes em atividades aquáticas. Reduzir as vendas de sorvete manteria o risco relacionado ao clima. Uma variável mediadora é diferente: ela está no caminho causal entre as variáveis.

A causalidade reversa inverte a direção proposta. Clientes que visitam páginas de ajuda com mais frequência podem ter mais pedidos malsucedidos porque as falhas os levam a essas páginas. A relação observada não dá base para esperar menos falhas após ocultar as páginas de ajuda.

Separe padrões de subgrupos do resultado combinado

O paradoxo de Simpson ocorre quando a comparação combinada inverte a direção observada em cada subgrupo. Os dados de tratamento de cálculos renais de um estudo de 1986 ilustram a aritmética:

A tem a maior proporção de sucesso nos dois grupos de tamanho de cálculo. B tem a maior proporção combinada porque A foi usado principalmente nos casos mais difíceis de cálculos grandes. As taxas combinadas ponderam as taxas dos subgrupos por suas contagens. Inspecione a composição e compare subgrupos relevantes antes de interpretar um resultado combinado.

Verifique tempo, seleção e agregação

Duas séries sem relação podem subir ao longo dos anos e parecer fortemente correlacionadas. Represente-as ao longo do tempo e inspecione as variações de um período para outro ou as relações dentro de cada período. A relação entre os níveis pode refletir principalmente sua tendência temporal comum.

Um intervalo selecionado também muda o que fica visível. Entre estudantes selecionados por notas altas no exame de ingresso, o intervalo de notas é estreito, e a correlação entre a nota no exame e as notas posteriores pode ser muito mais fraca que entre todos os candidatos. Descreva a população selecionada; seu coeficiente responde a uma pergunta diferente daquela do coeficiente para todos os candidatos.

Uma correlação entre médias de cidades pertence às cidades. Aplicá-la a moradores individuais é a falácia ecológica. A agregação pode fortalecer, enfraquecer ou inverter uma associação porque o padrão dentro dos grupos e a composição entre grupos não precisam concordar.

Trate uma busca ampla como fonte de hipóteses

Com 20 variáveis numéricas há 190 pares distintos. Examinar esses pares e muitos segmentos dá muitas oportunidades para padrões casuais aparecerem. Informe a amplitude da exploração e depois identifique um padrão surpreendente como uma hipótese para novos dados ou uma análise confirmatória planejada.

Use uma formulação vinculada às observações: “Pedidos feitos na chuva estiveram associados a tempos de entrega maiores durante este período.” Essa afirmação registra uma relação. Uma afirmação de que a chuva causou a diferença também exigiria evidências que descartassem explicações concorrentes, como uma composição diferente de rotas ou horários.

Um segmento é um subconjunto definido por uma categoria, faixa numérica ou período. Uma comparação útil mostra como a distribuição completa difere, com a quantidade de evidências por trás de cada resumo visível.

Coloque os tamanhos dos grupos ao lado dos resumos

by_city = df.groupby("city")["minutes"].agg(
    ["count", "mean", "median", "std"]
)

A contagem aqui é o número de durações registradas. Se algumas durações estiverem ausentes, informe também o número de pedidos e a proporção de ausentes para que a base da tabela fique clara. Agregações nomeadas podem dar rótulos úteis às colunas, como orders=("order_id", "count") e median_min=("minutes", "median").

Considere estes tempos de entrega:

Tartu tem a maior média, mas apenas duas observações. Uma entrega longa domina seu resultado. Grupos pequenos muitas vezes aparecem nos dois extremos de uma classificação porque seus resumos variam mais com observações individuais. Defina uma contagem mínima antes de classificar e mantenha os grupos pequenos visíveis como evidência incompleta.

Escolha uma exibição para a distribuição

Um diagrama de caixa em um eixo numérico compartilhado compara medianas, metades centrais e extremos sinalizados. Um gráfico de violino acrescenta uma forma estimada. Com grupos pequenos, gráficos de pontos por categoria ou de enxame mostram cada observação e facilitam a visualização do tamanho da amostra.

Para histogramas, use painéis com os mesmos eixos ou histogramas sobrepostos normalizados, como stat="density", common_norm=False. Histogramas de contagem sobrepostos revelam principalmente qual grupo contém mais registros. Uma sobreposição de densidades permite comparar a forma de cada grupo na mesma base.

Dois grupos com a mesma média podem ter caudas muito diferentes. Uma cidade com entregas em sua maioria rápidas e algumas muito longas pode compartilhar a média de uma cidade com tempos consistentemente moderados. Compare dispersão, percentis e uma proporção relevante em relação a um limite junto com a medida de tendência central.

Nomeie a referência de uma diferença

A diferença entre as médias de Tartu e Lyon nesta amostra é de 8 minutos. Em relação a Lyon, ela é cerca de 27,6%:

A referência é 29 minutos de Lyon. Inverter a referência muda a porcentagem relativa, embora a diferença absoluta permaneça em 8 minutos. Informe as contagens limitadas dos grupos junto com esse cálculo descritivo; a aritmética isolada não pode estabelecer uma diferença estável entre cidades.

Verifique a composição dentro dos grupos

df.groupby(["city", "vehicle"])["minutes"].median().unstack()

Essa tabela de cidade por veículo pode revelar se uma diferença entre cidades vem da composição de veículos. Uma tabela dinâmica com o mesmo agrupamento e a mediana fornece a mesma comparação. Inspecione também as contagens dessas células menores: dividir um grupo pode reduzir a evidência disponível mesmo ao esclarecer o padrão.

Contagens respondem quantos eventos ocorreram. Taxas respondem com que frequência os eventos ocorreram em relação às oportunidades. Quando os grupos diferem em tamanho, a escolha do denominador pode mudar a comparação aparente.

Leia uma tabulação cruzada na direção desejada

Uma tabulação cruzada conta combinações de duas categorias:

pd.crosstab(df["region"], df["channel"], margins=True)

O Norte tem 30 pedidos pelo aplicativo e 20 pela web; o Sul tem 60 pedidos pelo aplicativo e 90 pela web. O Sul tem mais pedidos pelo aplicativo, mas seu total maior de pedidos muda a comparação das proporções.

normalize="index" divide pelos totais das linhas; normalize="columns" divide pelos totais das colunas. normalize="all" usa o total geral. Leia a pergunta em voz alta antes de escolher a normalização. Nas linhas normalizadas por linha, cada linha soma 1; o mesmo ocorre com as colunas normalizadas por coluna.

Preserve resultados desconhecidos

Uma média booleana fornece a proporção de valores True. Para um indicador de entrega atrasada, tempos ausentes exigem tratamento especial:

df["late"] = df["minutes"].astype("Float64") > 45
rates = df.groupby("city")["late"].mean()
known = df.groupby("city")["late"].count()

O tipo Float64, com suporte a valores ausentes, preserva tempos ausentes como indicadores ausentes. A média por grupo estima então a proporção de atrasos entre os tempos registrados. No tipo comum de ponto flutuante, NaN > 45 é False, o que contaria tempos desconhecidos como pontuais e reduziria a taxa. Informe o denominador de resultados conhecidos e relate a ausência ao lado da taxa.

Distinga dois tipos de variação percentual

Uma taxa de atraso que sobe de 4% para 5% aumenta 1 ponto percentual. O aumento relativo usa a taxa original como referência:

Escreva “aumentou 1 ponto percentual, um aumento relativo de 25%”. Dizer apenas “aumentou 1%” deixa o significado pouco claro. Para uma taxa baseada em uma célula pequena, mostre também sua contagem: 1 pedido atrasado em 2 produz 50%, mas um único pedido pontual adicional muda a proporção para um terço.

Compare proporções de resultados com o tamanho do grupo

Se o Norte responde por 25% de todos os pedidos, mas por 40% das reclamações, ele está sobrerrepresentado entre as reclamações. Isso compara sua proporção de reclamações com sua proporção de pedidos. É uma pergunta diferente da taxa de reclamações dentro do Norte, que exige dividir a contagem de reclamações do Norte pelos pedidos do Norte.

Use barras agrupadas, barras empilhadas de 100% ou um mapa de calor identificado para mostrar proporções. Uma tabela de região por canal normalizada por linha e representada em barras empilhadas compara a composição dos canais dentro das regiões. Coloque o denominador no título ou no rótulo do eixo para que os leitores distingam essa composição da composição regional de cada canal.

Totais por período dependem tanto da atividade quanto do tempo coberto. Antes de descrever uma alta ou queda, verifique os limites dos períodos, as datas ausentes e o padrão sazonal normal. Compare segmentos com uma medida adequada ao seu tamanho.

Agregue por período do calendário

Com as marcas temporais dos pedidos interpretadas, as contagens mensais podem ser construídas da seguinte forma:

monthly = (
    df.set_index("order_date")
      .resample("MS")["order_id"].count()
)

"MS" rotula cada mês do calendário pelo primeiro dia. Use "ME" para rótulos de fim de mês no pandas atual. Para uma tabela mensal por cidade, combine pd.Grouper(key="order_date", freq="MS") com o agrupamento por cidade e use .size().unstack(). O método conta linhas, então primeiro estabeleça que uma linha é um pedido.

Verifique a exposição antes de comparar totais

Suponha que haja 100 pedidos por dia de 1º de agosto a 12 de outubro. Os totais mensais são 3.100 em agosto, 3.000 em setembro e 1.200 na parte registrada de outubro. O total de outubro parece muito menor, mas todos os dias observados têm a mesma atividade.

Divida cada total por seus dias observados: 31, 30 e 12. As três médias diárias são 100. Compare essas taxas ou omita períodos incompletos. O denominador deve representar a cobertura real: um dia não registrado não pode ser tratado com segurança como um dia sem atividade.

Mesmo meses completos têm durações diferentes. Eles também podem conter números diferentes de dias da semana movimentados. Se a atividade de sábado for alta, compare os mesmos dias da semana ou taxas que considerem sua composição antes de interpretar uma diferença mensal.

Separe um ciclo de uma mudança duradoura

Sazonalidade é um padrão recorrente, como um ciclo semanal ou anual. daily.rolling(7).mean() suaviza uma janela de sete dias em uma série diária com espaçamento regular. Isso torna um ciclo semanal menos evidente, preservando mudanças mais lentas. Compare dezembro com o dezembro anterior quando a pergunta for sobre a variação anual de uma atividade sazonal.

Alguns dias incomumente altos podem parecer uma tendência em uma janela curta. Mostre histórico suficiente para entender a amplitude normal de variação e mantenha os valores não suavizados quando ajudarem a explicar um evento importante.

Verifique lacunas e compare trajetórias dos segmentos

Uma contagem reamostrada igual a zero pode significar ausência de eventos registrados ou uma interrupção na coleta. Uma mudança súbita de nível pode refletir uma nova versão do aplicativo ou uma definição alterada. Confirme a cobertura e o histórico de coleta com a fonte dos dados antes de tratar esses pontos como mudanças de comportamento.

Represente cada segmento como uma linha em eixos compartilhados, com unidades e uma cor consistente por grupo. Grupos grandes podem dominar gráficos de contagem. Proporções, taxas ou um índice relativo ao valor inicial de cada grupo podem tornar visíveis as mudanças dos grupos menores; identifique a medida mostrada.

Uma coorte agrupa clientes pelo momento em que começaram. Acompanhar os que começaram em março e os que começaram em abril pelo tempo decorrido desde o primeiro pedido pode separar mudanças no histórico dos clientes de mudanças na composição geral da clientela.

Uma constatação útil conecta uma pergunta a evidências. Ela informa a magnitude de um padrão, a população e o período que descreve e as limitações que afetam sua interpretação. Construa o relatório em torno das perguntas, em vez da ordem em que os gráficos foram criados.

Fundamente uma constatação em evidências

Por exemplo: “De janeiro a setembro de 2026, a mediana do tempo de entrega foi de 29 minutos; 8% dos 48.200 pedidos levaram mais de 45 minutos. A proporção de atrasos foi maior nas noites de sexta-feira e sábado: 14%, em comparação com 6% nas outras noites.”

Essa afirmação nomeia o período, a medida de tendência central, o limite, o denominador e a comparação. Use precisão suficiente para a decisão. “29 minutos” é mais fácil de usar do que “29,4545 minutos” quando os algarismos extras não acrescentam informação prática. Para uma duração assimétrica, uma mediana e um percentil superior muitas vezes explicam a experiência melhor do que uma média isolada.

Separe o que aconteceu do porquê e do que fazer

Uma recomendação depende de pressupostos sobre a causa e o efeito da ação. Mantenha esses pressupostos visíveis e indique as evidências adicionais necessárias. Uma observação pode ser útil mesmo enquanto sua explicação permanece uma hipótese.

Faça um gráfico explicar uma constatação

Selecione os poucos gráficos que respondem às perguntas e as surpresas relevantes. Mantenha outras visualizações exploratórias úteis em um apêndice ou caderno computacional. Dê ao gráfico de um relatório um título que apresente sua constatação, como “Entregas atrasadas atingem o pico nas noites de sexta-feira e sábado”. Identifique os eixos com unidades, ordene as categorias quando apropriado e mantenha a cor de cada segmento consistente entre gráficos. Inclua a fonte e o período dos dados.

Relate também evidências contraditórias. Se um gráfico combinado sugere melhora, mas um segmento grande piorou, o resultado do segmento importa para a interpretação. Selecionar apenas gráficos que apoiam uma narrativa esperada ocultaria informações necessárias ao leitor.

Organize um relatório conciso

Uma ordem clara é: pergunta e contexto; fonte dos dados, período, contagem e significado das linhas; problemas de qualidade e decisões de limpeza; três a cinco constatações principais com evidências; limitações; próximos passos. Cada constatação deve responder a uma pergunta ou explicar uma surpresa importante.

As limitações identificam o que os dados abrangem, o que foi excluído e por quê, quanto está ausente e que os padrões são associações. Por exemplo, informe a remoção de 37 pedidos cancelados de uma comparação de entregas concluídas. Os próximos passos podem incluir verificar uma hipótese com novos dados, coletar uma variável ausente, corrigir um problema no sistema de origem ou investigar uma pergunta para modelagem posterior.

Uma análise compartilhada precisa tanto de resultados legíveis quanto de um caminho de volta ao código e às entradas que os produziram. Prepare um caderno final cuja ordem, saídas e arquivos de apoio sejam coerentes.

Organize e execute o caderno final

Remova células sem uso e duplicadas, mantenha as dependências em ordem de execução e acrescente texto em Markdown que explique as decisões entre as seções de código. Preserve separadamente o trabalho mais experimental quando for útil. Reinicie o núcleo de execução e execute todas as células antes de cada exportação. Inspecione tanto os erros quanto as saídas alteradas: uma execução bem-sucedida ainda pode revelar que um número escrito anteriormente está desatualizado.

Gere os números relatados a partir do código:

s = df["minutes"]
print(f"Median delivery time: {s.median():.0f} minutes")

Um número digitado em um parágrafo pode permanecer inalterado após a atualização dos dados. Mantenha a afirmação exibida vinculada ao cálculo para que a próxima execução a atualize.

Exporte relatórios, figuras e tabelas

Uma exportação HTML pode ser lida em um navegador sem um ambiente Python:

jupyter nbconvert --to html --execute report.ipynb

A opção de execução roda o caderno antes da conversão. Verifique o relatório resultante, além do caderno. Ferramentas de publicação como Quarto oferecem outro caminho para um relatório legível.

Salve figuras e tabelas a partir do código para que novas execuções atualizem os arquivos:

fig.savefig("figures/late_by_hour.png", dpi=200,
            bbox_inches="tight")
summary.to_csv("output/city_summary.csv")

Crie as pastas de destino como parte da preparação do projeto. Uma captura de tela preserva a saída de um momento, mas não deixa uma ligação automática com o próximo cálculo.

Inclua a proveniência e as instruções de execução

Registre a fonte dos dados, a data de extração, o arquivo ou versão de entrada, a contagem de linhas, os filtros, as versões dos programas e as sementes aleatórias. Esses detalhes explicam quais entradas e configurações produziram uma constatação. Reúna configurações variáveis perto do início do caderno para que uma atualização mensal tenha um ponto de entrada claro.

Um projeto pode separar dados brutos e processados, cadernos, figuras e tabelas exportadas. Inclua um README que informe o objetivo, o diretório de trabalho esperado e as etapas de execução, além de um arquivo de ambiente com os pacotes. Mantenha o caderno, as instruções e o ambiente juntos ao compartilhar a análise reproduzível. Se as entradas exigirem acesso controlado, informe como um leitor autorizado obtém a versão correspondente dos dados.

Verifique o que as saídas revelam

Antes de compartilhar, inspecione cada célula de saída e cada exportação em busca de informações pessoais. Tabelas de prévia podem expor nomes, endereços de e-mail e localizações exatas mesmo quando o gráfico final é agregado. Remova, mascare ou agregue colunas de identificação conforme apropriado e siga os acordos e as regras de proteção de dados aplicáveis ao conjunto de dados.