Fontes de dados, qualidade e ética

Comece pela pergunta que você precisa responder. Depois, pergunte quem coletou cada possível fonte e até que ponto ela descreve as pessoas, os locais e o período de que você precisa.

Rastreie os dados até quem os coletou

Seus registros de vendas, registros do site e chamados de atendimento são dados próprios. Registros de reservas de uma companhia aérea compartilhados diretamente com um hotel parceiro são dados de parceiros para o hotel. Um arquivo de público compilado por um intermediário é dado de terceiros para quem o compra. Esses rótulos descrevem a relação com quem coletou os dados; eles não classificam a qualidade de cada arquivo.

Mantenha as outras distinções separadas

Dados internos são mantidos dentro da sua organização; dados externos vêm de fora. Dados primários são coletados para sua pergunta atual; dados secundários são reutilizados de outra finalidade ou época. Registros antigos de vendas reutilizados para investigar uma nova pergunta sobre preços são dados próprios e secundários. Uma nova pesquisa planejada para essa pergunta é primária.

Dados abertos são acessíveis e reutilizáveis por qualquer pessoa para qualquer finalidade, inclusive comercial, sob uma licença aberta. Institutos de estatística, prefeituras e serviços meteorológicos publicam exemplos. Leia a licença: a atribuição pode exigir que se dê crédito à fonte, e o compartilhamento pela mesma licença pode exigir que versões adaptadas usem a mesma licença. Um arquivo público que proíbe a reutilização comercial não é dado aberto nesse sentido estrito.

Examine a escolha de fontes

Uma empresa de bicicletas compartilhadas pergunta por que as viagens de fim de semana caíram 15% nesta primavera.

1. Seus registros de viagens mostram quais estações e horários perderam viagens. São evidências de dados próprios sobre seu serviço.
2. Dados de usuários de transporte compartilhados diretamente pela agência da cidade acrescentam evidências de dados de parceiros sobre o uso de ônibus e trens nas proximidades, nas mesmas semanas.
3. Registros abertos diários de chuva e temperatura ajudam a investigar o clima como possível fator.
4. Um arquivo de bairros de um intermediário acrescenta contexto demográfico, após a verificação de suas datas, métodos e permissões.

Essas fontes apoiam diferentes partes da investigação. Uma queda nas viagens de bicicleta acompanhada de um aumento nas viagens de trem não estabelece que as mesmas pessoas trocaram de serviço.

Verifique o canal e o nível de detalhe

Pesquisas alcançam respondentes; entrevistas captam o que as pessoas dizem; observações registram o que alguém percebe. Sensores cobrem os locais onde estão instalados. Registros de sites cobrem ações naquele site. Uma API permite que um programa solicite dados a outro sistema; a raspagem de dados da web copia conteúdo de páginas da web. Nenhum dos canais garante completude ou permissão para reutilizar o resultado.

Verifique a granularidade, isto é, o nível de detalhe de cada registro. Totais mensais da cidade não podem responder a uma pergunta por hora e estação. Compare as fontes quanto a cobertura, documentação, usos permitidos, esforço de obtenção e custo. Um arquivo enorme sobre a população pode ser menos útil do que um arquivo pequeno e bem documentado sobre seus próprios clientes.

A estrutura dos dados descreve como as informações são organizadas. Ela indica o que pode ser incluído diretamente em um cálculo e o que precisa primeiro de interpretação.

Reconheça três formas

Uma tabela relacional dá a cada coluna uma função. Isso simplifica a ordenação, a filtragem, a contagem e o agrupamento. Registros semiestruturados podem ter campos opcionais ou listas: um cliente pode ter dois números de telefone e outro, nenhum. Conteúdo não estruturado precisa ser lido, ouvido, visto ou analisado por um método adequado a esse conteúdo.

Separe o recipiente de seu conteúdo

Considere este registro JSON:

{"review_id": 1047, "rating": 4, "text": "Fast delivery, but the box was damaged."}

As chaves identificam os valores, então o registro é semiestruturado. O identificador e a avaliação podem se tornar colunas em uma tabela. O texto continua sendo um comentário escrito livremente. Colocá-lo em uma célula de planilha eletrônica não transforma seu significado em uma categoria pronta.

Uma planilha eletrônica pode ordenar comentários alfabeticamente, mas isso não informa quantos clientes reclamaram da embalagem. Você precisa de um campo que registre essa ideia, como mentions_packaging, com uma regra clara para atribuí-lo.

Transforme comentários em campos contáveis

Uma equipe lê 200 avaliações e marca todos os temas mencionados em cada uma. Ela registra um sinalizador de entrega e um de preço para cada avaliação. Há 84 menções a entrega e 46 a preço:

• Entrega: 84 de 200, ou 42%.
• Preço: 46 de 200, ou 23%.

Uma avaliação pode mencionar ambos os temas, então esses grupos se sobrepõem. Suas porcentagens não precisam somar 100%. Se a equipe quiser, em vez disso, um tema principal por avaliação, precisará de uma regra para escolhê-lo; essa é uma tarefa de classificação diferente.

As etiquetas são dados estruturados derivados do texto original. Mantenha a avaliação original disponível para analistas autorizados, para que alguém possa verificar por que uma etiqueta foi atribuída. Uma breve definição de classificação, como “menciona atraso na entrega ou horário de chegada”, ajuda as pessoas a aplicar a mesma categoria de maneira consistente.

Use metadados sem confundi-los com o conteúdo

Metadados descrevem dados. Uma foto pode ter horário de captura, modelo da câmera e localização por GPS. O conteúdo da imagem é não estruturado; seu horário de captura é um valor estruturado que pode ser agrupado por dia. Um arquivo também pode ter autor, tamanho e data de criação, e uma tabela pode ter descrições de suas colunas.

Estrutura e qualidade respondem a perguntas diferentes. Um arquivo de áudio cuidadosamente mantido continua sendo não estruturado. Uma planilha eletrônica com quantidades incorretas continua sendo estruturada. Avalie a organização do conteúdo separadamente de sua exatidão, completude e adequação à análise.

O significado de um valor determina quais operações fazem sentido. Os algarismos por si só não indicam se algo é uma quantidade, um identificador ou uma categoria ordenada.

Classifique o significado de um campo

Dados quantitativos contam ou medem algo. Dados qualitativos, ou categóricos, nomeiam uma qualidade ou um grupo.

O tempo de entrega é contínuo mesmo quando registrado em minutos inteiros; a precisão do registro não transforma a medição subjacente em uma contagem. Um código de produto como “300” é nominal porque identifica um produto. Somar códigos de produtos não produziria um total significativo.

Mantenha os códigos de categoria em contexto

Uma escala de satisfação pode codificar “muito insatisfeito” como 1 e “muito satisfeito” como 5. Contagens, porcentagens e a resposta central na ordem ajudam a descrevê-la. Uma média dos códigos pressupõe distâncias iguais entre categorias vizinhas. Uma diferença de 1 para 2 pode não representar a mesma mudança de sentimento que uma diferença de 4 para 5.

Quando um campo chamado status contém 3, pergunte o que 3 significa. Pode ser uma contagem, um identificador de loja ou uma avaliação. O dicionário de dados ou o responsável pelos dados fornece esse significado.

Escolha um tipo de armazenamento

Tipos de armazenamento dizem ao software como preservar e tratar valores. Tipos comuns são texto ou cadeia de caracteres, inteiro, decimal, data, data e hora e booleano. Um booleano tem os dois valores TRUE e FALSE. Nomes de banco de dados como INTEGER, DECIMAL, VARCHAR, DATE, TIMESTAMP e BOOLEAN variam conforme o sistema.

Uma loja on-line poderia escolher:

• order_id: texto; identificador nominal.
• order_date: data; valor de calendário.
• items: inteiro; quantidade discreta.
• parcel_kg: decimal; quantidade contínua.
• payment_method: texto; categoria nominal.
• rating: categoria ordenada codificada de 1 a 5.
• is_member: booleano.

Uma avaliação pode ser armazenada como número inteiro sem se tornar uma quantidade medida. Significado estatístico e tipo de armazenamento são decisões relacionadas, mas não são o mesmo rótulo.

Evite alterações silenciosas

Códigos postais e números de telefone devem ficar em campos de texto. Armazenar o código postal dos Estados Unidos “02134” como número produz 2134 e faz perder parte do identificador. Um identificador numérico mais longo também pode perder precisão em um software de planilha eletrônica.

Datas armazenadas como texto podem ser ordenadas pelo primeiro caractere. Nessa ordem, “10/02/2025” precede “9/15/2025” porque “1” precede “9”, embora setembro venha primeiro. Use um tipo de data quando o campo representar datas.

Um número armazenado como texto pode ser ignorado por SUM quando uma planilha eletrônica soma um intervalo de células. O total pode parecer plausível e ainda assim omitir um valor. Verifique o significado do campo e o tipo de armazenamento antes de calculá-lo, ordená-lo ou compará-lo.

O formato de um arquivo determina o que ele pode conter e como o software o lê. Verifique essas capacidades antes de escolher uma exportação ou abrir um arquivo desconhecido.

Escolha o formato adequado às informações

CSV grava valores de campo como texto, não como fórmulas de planilha eletrônica. TSV usa tabulações entre campos. Algumas exportações de planilhas usam ponto e vírgula onde a vírgula decimal é comum. Inspecione o delimitador e a codificação em uma prévia da importação.

Leia campos CSV entre aspas

Um campo CSV que contém vírgula, aspas duplas ou quebra de linha é envolvido por aspas duplas. Uma aspa dentro desse campo é duplicada:

1047,"Lee, Ana","She said ""great"""

Esse registro tem três campos. A vírgula no nome faz parte do nome. As aspas duplicadas preservam as aspas ao redor de “great”. Existem variantes de CSV, portanto confirme como o programa que recebe o arquivo o lê.

JSON usa chaves e valores, como em {"city": "Lyon", "stations": 3}. XML usa etiquetas, como em <city>Lyon</city>. Listas dentro de qualquer um dos formatos exigem uma decisão sobre qual item se tornará uma linha.

Preserve caracteres e identificadores

A codificação de caracteres associa bytes a caracteres. UTF-8 dá suporte a sistemas de escrita do mundo todo. Ler UTF-8 com a codificação errada pode transformar “São Paulo” em “São Paulo”. Importe novamente usando a codificação correta; editar os caracteres ilegíveis visíveis oculta a causa.

A conversão automática em planilhas eletrônicas cria outro risco. Um código “02134” pode perder seu zero, IDs numéricos longos podem ser exibidos em notação científica e o Excel armazena apenas 15 algarismos significativos. Um identificador de 16 algarismos pode, portanto, perder precisão. Importe identificadores como texto. Textos que se parecem com datas também podem mudar: a conversão repetida de símbolos de genes como SEPT2 contribuiu para que fossem renomeados, por exemplo, para SEPTIN2, em 2020.

Verifique datas, linhas e conversões

A data “03/04/2025” pode significar 4 de março ou 3 de abril. O formato ISO ano-mês-dia, como “2025-03-04”, evita essa ambiguidade e é ordenado cronologicamente como texto quando formatado de maneira consistente.

O antigo formato XLS permite 65.536 linhas por aba. Em outubro de 2020, uma importação para esse formato contribuiu para que 15.841 resultados positivos de testes de COVID-19 fossem omitidos dos números diários da Inglaterra de 25 de setembro a 2 de outubro. Compare as contagens de linhas importadas e da fonte para detectar cortes silenciosos.

Renomear sales.xlsx para sales.csv mantém o formato subjacente inalterado. Converta por meio de exportação ou “Salvar como”. Mantenha o arquivo original: abrir um CSV e salvá-lo novamente pode gravar zeros removidos ou datas alteradas, mesmo quando você não fez edições intencionais.

Uma tabela deve facilitar a identificação do que cada linha descreve. Comece nomeando essa observação: um pedido, um cliente ou as vendas de uma loja durante um trimestre.

Dê a cada valor um lugar claro

Uma tabela organizada tem uma variável por coluna, uma observação por linha e um valor por célula. Use uma única linha de cabeçalho. Mantenha clientes e pedidos em tabelas separadas, pois são tipos diferentes de observações.

Células mescladas, linhas em branco decorativas e vários valores em uma célula tornam a ordenação e a filtragem pouco confiáveis. Armazene a massa como número no campo parcel_kg, não como texto como “12 kg”. Registre a situação em um campo; a cor sozinha não consegue transmitir seu significado de forma confiável para outra ferramenta.

Mantenha linhas de total fora dos registros. Suponha que três lojas tenham valores de vendas de 120, 80 e 100. Seu total é 300. Se uma quarta linha também contiver 300 com o rótulo “Total”, somar a coluna inteira resulta em 600. O total foi contado junto com suas próprias partes.

Escolha o formato largo ou longo

O formato largo facilita a leitura lado a lado. O formato longo facilita a filtragem, o agrupamento e a criação de gráficos por período. Um quinto trimestre adiciona linhas à tabela longa em vez de alterar sua estrutura de colunas. A dinamização transforma o formato longo em largo; a anulação de dinamização transforma o largo em longo.

Nenhum dos formatos altera as vendas em si. O que muda é a definição de uma linha e onde o período é registrado. Documente esse significado da linha para que IDs de loja repetidos na tabela longa sejam compreendidos corretamente.

Explique os campos

Um dicionário de dados descreve o significado, tipo, unidade, valores ou intervalo permitidos e código de valor ausente de cada campo. Por exemplo:

trip_km: Distância da viagem em quilômetros; decimal; zero ou mais; em branco quando o sinal de GPS falhou.

Esse verbete diferencia um campo em branco de um zero medido. Também impede que um leitor trate quilômetros como metros. Um README fornece a visão geral do conjunto de dados: sua fonte, cobertura, período e problemas conhecidos.

Metadados descritivos identificam o conjunto de dados, o autor e o assunto. Metadados estruturais descrevem campos, tabelas e relacionamentos. Metadados administrativos registram titularidade, direitos de acesso, licenças, datas de criação e tipos de arquivo. Juntos, eles ajudam as pessoas a localizar e avaliar os dados, além de usá-los.

Deixe um registro do seu trabalho

Use nomes significativos em um único estilo, como parcel_kg e order_date. Um nome de arquivo como bike_trips_2025-03-04_v02.csv registra conteúdo, data e versão sem espaços ou caracteres especiais. Datas na ordem ano-mês-dia fazem com que nomes de arquivos relacionados sejam ordenados cronologicamente.

Mantenha os dados brutos inalterados e somente para leitura, com cópias de trabalho e saídas em pastas separadas. Registre alterações em um breve registro ou histórico de versões compartilhado. Escreva definições enquanto o trabalho está recente: um valor 3 de status sem explicação pode deixar o próximo analista sem condições de interpretar uma tabela que, de resto, está limpa.

Escolha um armazenamento de dados de acordo com a quantidade de dados, os relacionamentos que eles contêm e as pessoas que precisam lê-los ou alterá-los. Uma apresentação conveniente é apenas parte dessa escolha.

Entenda tabelas vinculadas

Um banco de dados é uma coleção eletrônica organizada, gerenciada por um sistema de gerenciamento de banco de dados, ou SGBD. O SGBD cuida do armazenamento, das permissões e da consistência. Um banco de dados relacional mantém informações relacionadas em tabelas ligadas por chaves. Seu esquema define tabelas, campos, tipos e relacionamentos.

Uma chave primária identifica uma linha de forma única e nunca está vazia. Pode ser um campo ou uma combinação de campos. Uma chave estrangeira liga uma tabela à chave primária de outra tabela. Vários registros podem apontar para o mesmo registro relacionado.

Considere customers, com customer_id, name e city, e orders, com order_id, customer_id, order_date e items. O cliente C102 tem três pedidos. O identificador C102 aparece três vezes em orders, mas apenas uma vez como chave primária em customers. Cada pedido mantém seu próprio order_id único.

Se a cidade atual do cliente mudar, atualizar a linha do cliente disponibiliza a nova cidade por meio do relacionamento. Repetir a cidade em cada pedido favoreceria edições conflitantes. Organizar informações relacionadas em tabelas vinculadas para reduzir repetições e contradições é a normalização. Use IDs estáveis: nomes podem se repetir ou mudar.

Compare as necessidades de trabalho

Uma aba do Excel comporta no máximo 1.048.576 linhas e 16.384 colunas. O Google Sheets permite até 20 milhões de células por planilha, aumento em relação aos 10 milhões em setembro de 2026. A capacidade é um limite máximo, não uma promessa de desempenho fluido para todos os arquivos.

Faça uma verificação concreta do tamanho

Um arquivo de 2.500.000 viagens precisa de cerca de 2,4 vezes o número de linhas de uma aba do Excel. Armazene-o em um banco de dados e extraia um subconjunto útil. Uma tabela de 700.000 linhas e 30 colunas usa 21.000.000 de células, ultrapassando o limite do Google Sheets. Uma lista de 300 inscrições em um evento cabe com folga em uma planilha eletrônica.

Mesmo um volume pequeno de dados pode exigir um banco de dados quando muitas pessoas atualizam registros relacionados e chaves consistentes são importantes. Planilhas eletrônicas podem rejeitar valores inadequados com regras de validação, mas essas regras precisam ser configuradas e podem ser contornadas, inclusive ao colar dados. Uma tabela em uma aba não adquire restrições de banco de dados apenas por sua estrutura.

Reconheça outros armazenamentos

Um banco de dados NoSQL orientado a documentos pode armazenar registros JSON com campos variáveis. Um armazém de dados combina dados preparados de várias fontes para análise. Um lago de dados mantém grandes volumes de dados brutos em seus formatos originais, inclusive mídias. Um fluxo de trabalho comum mantém os dados principais em um banco de dados e envia um subconjunto selecionado para uma planilha eletrônica ou ferramenta de inteligência de negócios.

Credibilidade significa que uma fonte é digna de confiança e que sua coleta e documentação justificam confiar nela. Um arquivo bem apresentado é fácil de ler; as evidências por trás dele determinam quanta confiança ele merece.

Aplique a lista ROCCC

ROCCC representa os critérios confiável, original, abrangente, atual e citado. Trate cada palavra como uma questão a investigar.

Original não significa que você precise coletar tudo por conta própria. Uma tabela reutilizada pode ser confiável se você conseguir rastreá-la até um original documentado. Atual não significa a mais recente a qualquer custo: registros históricos são os adequados para uma pergunta histórica.

Rastreie uma afirmação antes de aceitá-la

Uma publicação em um fórum contém um link para uma planilha chamada “Tempo médio de deslocamento diário por cidade”. Ela não tem autor, data nem definição de “deslocamento diário”. Você não consegue saber se os números descrevem viagens de ida, viagens de ida e volta, trabalhadores ou todas as pessoas da cidade.

Primeiro, procure o instituto de estatística ou a autoridade de transporte de origem. Encontre sua tabela e metodologia. Verifique o ano e a definição da medida e confirme se os números copiados correspondem aos originais. Se você não conseguir recuperar esse histórico, o arquivo do fórum deixará questões importantes de confiança sem resposta.

Uma fonte pode ser confiável e ainda assim não responder à sua pergunta. Uma pesquisa de deslocamento com adultos empregados pode ser adequada a uma pergunta sobre viagens para o trabalho, mas deixar de fora viagens feitas por aposentados. Abrangência sempre se refere à pergunta e às pessoas sobre as quais ela trata.

Acompanhe a proveniência e as permissões

Proveniência dos dados é o registro de onde os dados se originaram e do que aconteceu com eles. Um histórico útil conecta a publicação original, a versão baixada, eventuais reorganizações ou filtragens e o extrato usado em um resultado. Metadados e um dicionário de dados explicam campos e definições ao longo desse histórico.

Verifique a licença ou o acordo antes da reutilização. A permissão para baixar um arquivo pode ser diferente da permissão para publicar suas linhas ou usá-lo comercialmente. Uma fonte tecnicamente sólida ainda pode ser inutilizável para a finalidade planejada devido a seus termos.

Faça verificações cruzadas de significados e totais

Compare os totais regionais com o total nacional do responsável pela publicação quando as regiões cobrirem toda aquela população e período. Uma diferença é motivo para investigar áreas ausentes, datas diferentes, revisões ou definições diferentes. Compare também uma fonte independente; vários sites que repetem um número fornecem uma única trilha de evidências, não uma confirmação independente.

Leia as notas de revisão. Uma correção posterior pode tornar um extrato salvo desatualizado, mesmo que o download tenha sido recente. Registre a versão publicada que você usou e a data em que a acessou. Quando um painel de indicadores disser “usuário ativo”, descubra se isso significa um acesso, uma compra ou outra ação antes de compará-lo com um segundo painel.

Viés é uma distorção sistemática na forma como os dados são coletados, registrados, selecionados ou interpretados. Ele direciona um resultado para um lado. Mais registros coletados da mesma maneira enviesada preservam essa distorção.

Identifique o que deu errado

O viés do observador diz respeito ao processo de registro; o viés de interpretação diz respeito ao significado que alguém atribui à informação. O viés de confirmação é especialmente visível nas evidências que alguém busca ou mantém. Mais de um pode ocorrer em um projeto, mas nomeie o mecanismo que as evidências realmente sustentam.

Calcule o efeito dos clientes ausentes

Uma pesquisa recebe 300 respostas de usuários do aplicativo, dos quais 240 estão satisfeitos. A taxa de satisfação observada é 80%. Os usuários do aplicativo representam 40% de todos os clientes. Uma verificação separada constata que 55% dos 60% restantes estão satisfeitos.

Para combinar essas taxas, considere a proporção de cada grupo:

• Contribuição dos usuários do aplicativo: 40% de 80%, ou 32 pontos percentuais.
• Contribuição dos outros clientes: 60% de 55%, ou 33 pontos percentuais.
• Satisfação global: 32 mais 33, ou 65%.

Informar 80% para todos os clientes estenderia o resultado do aplicativo a um grupo que ele não representou. Uma pesquisa ainda maior feita apenas no aplicativo continuaria deixando esse grupo de fora.

Procure lacunas e escolhas enviesadas

Compare a composição do conjunto de dados com números conhecidos da população, como proporções de faixas etárias ou canais de atendimento aos clientes. Pergunte quem está ausente, quem saiu e por quê. Examine como as categorias foram definidas e se alguma opção de resposta deixa pessoas de fora. Verifique quem registrou os julgamentos e quais expectativas poderiam tê-los afetado.

Um registro exato de decisões passadas merece uma verificação de equidade separada. Se um processo de contratação favoreceu um grupo, armazenar suas decisões com exatidão preserva esse padrão. A transcrição correta não corrige o histórico desigual.

Reduza o mecanismo encontrado

Definições claras de registro, procedimentos padronizados e observadores independentes ajudam a reduzir o viés do observador. Critérios acordados para interpretar resultados reduzem o espaço para que expectativas direcionem conclusões. Registrar a pergunta e os critérios de sucesso antes da análise e buscar ativamente evidências contrárias à sua ideia combate o viés de confirmação.

Documente os vieses que você não consegue eliminar e explique como eles limitam as conclusões. Se os clientes que cancelaram estiverem ausentes, descreva o resultado como referente aos assinantes atuais. Se a decisão exigir compreender os cancelamentos, busque informações sobre quem saiu.

Qualidade dos dados significa adequação a um uso pretendido. Avalie os campos e registros que a decisão realmente exige e, em seguida, determine como os problemas afetariam o resultado.

Examine seis dimensões

Validade e exatidão são diferentes. Uma idade de 42 pode estar dentro do intervalo permitido e ainda estar errada para uma pessoa cuja idade real é 24. A exatidão exige comparação com a realidade, não apenas uma verificação de formato.

Faça o perfilamento de uma tabela de clientes

Uma tabela tem 5.000 linhas, 600 endereços de e-mail em branco, 45 IDs de clientes que aparecem mais de uma vez, uma idade máxima de 212 e uma data de atualização de 18 meses atrás.

1. Divida 600 por 5.000: 12% dos registros de e-mail estão ausentes.
2. IDs repetidos levantam um problema de unicidade se cada linha deve descrever um cliente.
3. A idade 212 não atende a uma regra de intervalo plausível de idades e precisa ser investigada.
4. A data de atualização levanta uma preocupação de tempestividade para o contato atual com clientes.

Esse perfil localiza problemas; ele não decide todos os usos. Uma análise dos gastos regionais do ano passado pode prosseguir após a verificação dos valores de compra, datas e regiões, a resolução dos registros duplicados e a confirmação da cobertura de todo o ano solicitado. Uma campanha por e-mail precisa de endereços atuais e é afetada diretamente pelo campo de contato ausente.

Decida quais evidências são suficientes

Os dados são insuficientes quando faltam registros, campos, cobertura ou um período necessários à pergunta. Uma fonte única merece verificação adicional quando você não consegue compará-la com outra. Uma fonte que muda precisa de uma cópia fixa dos dados ou de uma data de corte para o relatório, como “todos os pedidos até 2025-06-30”, para que alguém possa reproduzir o resultado.

Quando uma lacuna for relevante, discuta a escolha com as partes interessadas. Você pode buscar novos dados, esperar, restringir a pergunta, comunicar um resultado limitado ou usar dados substitutos com uma explicação clara. Dados substitutos representam algo indisponível. As vendas iniciais de um produto similar podem ajudar a estimar as de um novo produto, mas a similaridade é uma premissa que deve ser apresentada e examinada.

Verifique o efeito da sua resposta

Excluir todas as linhas com um campo em branco pode introduzir viés. Se clientes mais velhos tiverem maior probabilidade de não informar um endereço de e-mail, excluir essas linhas os sub-representará mesmo em uma análise que não precisa de e-mail.

Um arquivo sem campos em branco ainda pode descrever a população errada ou usar a definição errada. Registre quais problemas afetam a decisão planejada, o que precisa ser resolvido e quais limites permanecem.

Dados pessoais se relacionam a alguém que está identificado ou pode ser identificado. A expressão informações de identificação pessoal, ou PII, também é comum. Na análise cotidiana, examine o que as informações revelam e como poderiam ser vinculadas a uma pessoa.

Procure formas de identificação direta e indireta

Um identificador direto pode apontar diretamente para uma pessoa ou conta: endereço de e-mail, número de telefone, documento de identidade nacional, número de conta ou foto nítida do rosto. Nomes também ajudam a identificar pessoas, embora um nome comum possa precisar de contexto.

Um identificador indireto, ou quase-identificador, torna-se identificador em combinação com outros detalhes. Data de nascimento, código postal, gênero, empregador e cargo podem parecer abrangentes separadamente, mas deixar um grupo muito pequeno quando combinados.

Latanya Sweeney estimou, a partir de dados do censo dos Estados Unidos de 1990, que cerca de 87% da população provavelmente era identificável de forma única por código postal de cinco dígitos, gênero e data de nascimento completa. Um estudo posterior com dados do censo de 2000 estimou cerca de 63%. Esses resultados estão ligados àquelas populações e datas, não são uma taxa universal de identificação. Sweeney também vinculou um conjunto de dados de saúde estadual a uma lista de eleitores para identificar os registros de um governador.

Examine todos os campos, inclusive observações

Considere estes campos de clientes:

Uma observação como “Procure Maria na unidade da Rua Elm, ela conhece meu caso” contém um nome e uma localização apesar do rótulo genérico do campo. Leia os campos de texto livre antes de decidir que um extrato pode ser compartilhado com segurança.

IDs de dispositivos, IDs de cookies, endereços IP, históricos precisos de deslocamento e metadados de GPS também podem ajudar na identificação. Uma rota que começa na mesma casa todas as manhãs pode revelar onde uma pessoa mora, mesmo quando o registro da rota não tem nome.

Reconheça informações sensíveis

Dados sensíveis são informações pessoais cujo uso indevido pode causar danos graves. Exemplos incluem dados de saúde, genéticos e biométricos; origem racial ou étnica; crenças religiosas e políticas; orientação sexual; filiação sindical; informações financeiras; localização precisa; e informações sobre crianças. Uma tarefa deve ter uma necessidade clara desses campos antes que sejam incluídos em uma cópia para análise.

Identificação e sensibilidade são preocupações diferentes. Um e-mail pode identificar uma pessoa sem descrever sua saúde. Um diagnóstico pode ser sensível mesmo quando sua tabela substituiu nomes por códigos, pois os registros ainda podem ser vinculados.

Respeite o uso e também a fonte

Privacidade diz respeito ao controle das pessoas sobre informações a seu respeito e à adequação e expectativa da coleta, do uso e do compartilhamento. Perfis e diretórios públicos ainda descrevem pessoas. Combinar detalhes públicos pode revelar mais do que os responsáveis pelas publicações originais mostraram em conjunto.

Exemplos de leis de privacidade incluem o GDPR da União Europeia, o UK GDPR e a CCPA da Califórnia. No trabalho, siga a política de privacidade da organização e consulte sua equipe de privacidade ou jurídica sobre usos incertos. Remover um nome é uma alteração em um conjunto de dados; avaliar o que as informações restantes podem revelar exige examinar todo o extrato e possíveis fontes vinculadas.

A desidentificação remove ou altera detalhes para dificultar a vinculação de registros a pessoas. O método adequado preserva informações suficientes para a pergunta enquanto reduz o que um destinatário pode descobrir sobre indivíduos.

Diferencie códigos de anonimato

A pseudonimização substitui identificadores por códigos. Uma chave de correspondência separada pode restabelecer o vínculo, então os dados continuam sendo pessoais. A anonimização exige que as pessoas não possam mais ser razoavelmente identificadas, considerando os meios que provavelmente seriam usados, e que a transformação não possa ser revertida.

A aplicação simples de função hash a endereços de e-mail é pseudonimização: alguém pode aplicar a função a uma lista de possíveis endereços e comparar os resultados. IDs aleatórios ou um método protegido com chave secreta oferecem pseudônimos mais seguros, enquanto as informações de correspondência ainda precisam de proteção separada.

Escolha uma transformação

Cada escolha perde algum detalhe. Faixas etárias podem responder a uma pergunta sobre segmentos sem expor idades exatas, mas não conseguem mostrar variações dentro de uma faixa.

Examine o k-anonimato

O k-anonimato verifica grupos formados pelos quase-identificadores que você selecionou. Cada combinação deve aparecer pelo menos k vezes. O tamanho do menor grupo é o k da tabela.

Oito registros de pacientes contêm pares de idade e código postal: 34/10115, 36/10117, 38/10119, 31/10115, 52/10243, 57/10245, 55/10247 e 59/10249. Cada par completo é único, então k é 1.

Generalize a idade em faixas de dez anos e o código postal em seus três primeiros dígitos:

• Quatro registros agora compartilham a faixa etária 30–39 e o prefixo postal 101.
• Quatro registros compartilham a faixa etária 50–59 e o prefixo postal 102.

O menor grupo tem quatro registros, então o resultado é 4-anônimo nesses quase-identificadores. O tamanho do grupo considera todos os quase-identificadores selecionados em conjunto, não contagens separadas para cada coluna.

Verifique o que os grupos ainda revelam

Se todas as quatro pessoas de um grupo compartilham um diagnóstico, saber que uma pessoa pertence àquele grupo revela o diagnóstico sem encontrar sua linha. O tamanho do grupo, por si só, não impede a divulgação de um valor sensível. Outros conjuntos de dados também podem criar oportunidades de vinculação. Em 2008, pesquisadores vincularam avaliações de filmes e datas aproximadas a avaliações públicas, apesar de os nomes terem sido substituídos por números.

Dados agregados também precisam ser examinados. Uma contagem de um pode expor alguém. Dois totais de remuneração sobrepostos podem revelar uma diferença: 720.000 para 12 funcionários menos 655.000 para os 11 que não são recém-contratados revela a remuneração de 65.000 da única pessoa recém-contratada.

Liste os campos, remova os que a pergunta não exige, suprima identificadores diretos, proteja qualquer chave de correspondência, generalize quase-identificadores e examine grupos pequenos e texto livre. Verifique também publicações sobrepostas, além do arquivo à sua frente, e documente as transformações e os riscos de vinculação restantes.

A segurança protege dados contra acesso, alteração e perda não autorizados. A privacidade questiona se um uso é adequado. Um arquivo protegido ainda pode ser usado de maneira invasiva, e um plano de análise respeitoso ainda precisa de um local seguro para o trabalho.

Limite quem pode fazer o quê

O controle de acesso especifica quem pode ler ou alterar os dados. O princípio do menor privilégio significa dar a cada pessoa apenas o acesso necessário à sua tarefa e somente pelo tempo necessário. Alguém que revisa resultados agregados pode não precisar de acesso aos registros individuais usados para criá-los.

Compartilhe com destinatários identificados, escolha deliberadamente direitos de leitura ou edição e remova o acesso ao final do projeto. Uma configuração de “qualquer pessoa com o link” pode permitir que o link circule além do público pretendido. A conveniência de uma pasta de projeto não justifica dar a todos os membros do projeto acesso a todos os arquivos de origem.

Proteja dados armazenados e em movimento

A criptografia torna os dados ilegíveis sem a chave correta. Use proteção em repouso, para arquivos, dispositivos e cópias de segurança armazenados, e em trânsito, enquanto os dados se movem entre sistemas, por exemplo, via HTTPS. Verifique ambas as partes: armazenamento protegido não protege uma cópia enviada por um canal de transferência inadequado.

A tokenização substitui um valor sensível por um token enquanto mantém o valor real em um sistema protegido separadamente. Ela reduz os locais em que o valor original precisa aparecer. O sistema que mantém o original ainda precisa de controles rigorosos.

Reduza a quantidade e o tempo de armazenamento

Minimização de dados significa coletar, copiar e manter apenas as informações pessoais necessárias à tarefa. Extraia cinco colunas necessárias em vez de uma tabela completa de clientes com nomes, endereços e observações não relacionadas. Um extrato menor expõe menos informações se for tratado incorretamente.

As regras de retenção de dados estabelecem por quanto tempo manter os dados e quando excluí-los. Aplique-as a cópias de trabalho e extratos compartilhados, não apenas ao banco de dados principal. Revogue permissões quando o acesso terminar e siga os procedimentos aprovados de exclusão de cópias.

Verifique o arquivo que realmente será enviado

Colunas e abas ocultas podem ser reexibidas. A proteção de uma aba pode impedir edições e ainda deixar os valores legíveis. O histórico de versões pode reter valores removidos, e as propriedades do arquivo podem revelar a identidade do autor. Crie um extrato limpo em vez de confiar em recursos de exibição para ocultar informações.

Para resultados de cancelamento de clientes enviados a uma agência externa, um plano adequado é compartilhar taxas por região e faixa etária em grupos de pelo menos 10 clientes, usando o serviço de transferência aprovado. Dê acesso a dois funcionários identificados da agência e configure-o para expirar após 30 dias. O limite de grupo nesse plano é uma proteção escolhida, não uma garantia contra toda divulgação.

Use ferramentas aprovadas de armazenamento e transferência. E-mail pessoal, dispositivos portáteis ou ferramentas on-line não aprovadas podem criar cópias não controladas. Não cole registros pessoais ou confidenciais em assistentes de IA não aprovados ou outras ferramentas da web. Se um arquivo for enviado à pessoa errada ou um dispositivo não criptografado for perdido, comunique imediatamente pelo procedimento de incidentes da organização para que a equipe de resposta possa agir.

A ética de dados fornece padrões para avaliar se a coleta, o uso e o compartilhamento de dados são justos, honestos e respeitosos. As regras legais estabelecem um mínimo. O julgamento ético também questiona o que uma decisão causa às pessoas por trás dos registros.

Entenda o interesse das pessoas em seus dados

A titularidade dos dados, como princípio ético, reconhece o direito prioritário das pessoas de controlar como os dados que fornecem são usados e compartilhados. Manter uma cópia em um servidor da empresa não elimina seus interesses.

O consentimento deve ser informado, específico para uma finalidade, dado livremente e passível de retirada. As pessoas precisam entender como e por que seus dados serão usados antes de concordar. Uma caixa de seleção vaga escondida em termos longos não torna compreensível um uso inesperado. Verifique novamente uma nova finalidade; um acordo anterior não resolve todos os usos posteriores.

Torne visíveis o processamento e o dinheiro

A transparência no tratamento de dados significa que as pessoas podem entender como seus dados são processados, inclusive os algoritmos que atuam sobre eles. Se uma pontuação automatizada negar um desconto a alguém, uma explicação em linguagem simples deve identificar em que a pontuação se baseia.

A monetização dos dados diz respeito ao conhecimento das transações financeiras resultantes de dados pessoais e de sua escala. Uma pessoa pode entender que um aplicativo registra sua localização sem perceber que a empresa vende esse histórico a anunciantes. A transparência sobre a coleta e a transparência sobre o dinheiro respondem a perguntas diferentes.

Equilibre compartilhamento, privacidade e equidade

Dados abertos são acessíveis e reutilizáveis sob uma licença clara. CC BY 4.0 permite a reutilização com atribuição. CC0 é uma dedicação ao domínio público destinada a remover restrições de direitos autorais tanto quanto possível. A reutilização aberta ainda exige atenção às informações pessoais e a possíveis danos.

A responsabilização e a prestação de contas exigem registros: identifique fontes, métodos, decisões e a pessoa responsável. Dar crédito a um conjunto de dados permite que um revisor acompanhe as evidências e dá ao criador o reconhecimento adequado.

Aplique os princípios a um aplicativo de exercícios físicos

Um aplicativo gratuito de exercícios físicos vende rotas precisas de corrida a anunciantes. Seus longos termos mencionam apenas que “parceiros” podem receber dados de localização. As rotas podem revelar residências e rotinas diárias.

• O consentimento é fraco porque o uso específico não foi esclarecido antes da concordância.
• A transparência no tratamento de dados é fraca porque as pessoas não conseguem ver facilmente quais processamentos e compartilhamentos ocorrem.
• A transparência sobre a monetização dos dados é fraca porque a venda e sua escala são ocultadas dos usuários.
• A privacidade é ameaçada porque rotas detalhadas revelam rotinas pessoais.

A empresa deve examinar se o compartilhamento atende a uma finalidade que as pessoas entendem, se uma alternativa que revele menos informações atende a essa finalidade e se os usuários podem fazer uma escolha significativa. Dizer que um uso é legal não responde a essas questões éticas.

A ética faz parte da delimitação da pergunta, da preparação e análise das evidências, da comunicação dos resultados e da ação com base neles. O analista frequentemente vê um padrão prejudicial antes de quem examina uma apresentação final.

Examine uma decisão

1. Apresente a finalidade e os dados. Qual decisão está sendo apoiada e quais informações seriam usadas?
2. Identifique as pessoas afetadas e os efeitos. Inclua pessoas ausentes do arquivo e também as representadas. Nomeie possíveis benefícios e danos.
3. Verifique expectativas e obrigações. Compare o uso com o que foi informado às pessoas, seus acordos, a política da organização e a legislação aplicável.
4. Compare alternativas. Menos dados, grupos mais amplos ou participação por adesão poderiam atender à necessidade real?
5. Decida e documente. Registre os motivos, a pessoa responsável e quaisquer limites. Encaminhe riscos altos ou questões não resolvidas aos responsáveis.

Examine uma inferência sensível

Um varejista quer inferir uma gravidez a partir de históricos de compras e enviar cupons de produtos para bebês. A finalidade comercial não exige que clientes revelem uma inferência relacionada à saúde. Um cupom entregue em uma residência compartilhada pode revelar uma gravidez a familiares, inclusive quando a inferência está errada.

Verifique o que os clientes esperavam quando as compras foram registradas. Considere um clube de bebês por adesão como uma maneira menos invasiva de enviar ofertas relevantes. Documente por que essa alternativa respeita melhor as escolhas das pessoas e evita fazer uma inferência sensível inesperada.

Um caso no trabalho apresenta uma decisão relacionada: o RH quer uma pontuação de risco de pedido de demissão baseada em registros de passagem de crachá e metadados de e-mail. Pergunte se os funcionários esperavam esse uso, como sinalizações incorretas poderiam afetar carreiras e se o trabalho em tempo parcial ou a licença médica poderiam ser penalizados. Uma pesquisa anônima de engajamento pode abordar a preocupação de fundo com menos invasão.

Verifique a equidade além de uma coluna

Uma variável substituta representa outra característica. Remover a etnia de um arquivo de pontuação pode deixar o código postal ou a primeira língua fortemente associados a ela. Os campos restantes podem preservar um tratamento desigual. Verifique os resultados para os grupos afetados e investigue o processo por trás das diferenças.

Essa questão de equidade difere do uso de dados substitutos para estimar uma medida indisponível. Ambos envolvem algo que representa outra coisa, mas um questiona efeitos indiretos sobre grupos e o outro, a adequação de evidências substitutas.

Verifique escolhas de acesso e comunicação

Antes de fazer raspagem de perfis públicos, examine termos, licenças, informações pessoais e expectativas das pessoas. O acesso a uma página da web dá a você a capacidade de lê-la; a permissão para criar um banco de dados de marketing é uma questão separada.

Comunique as evidências honestamente, inclusive resultados que enfraqueçam sua explicação preferida. Use gráficos que representem diferenças de maneira justa, apresente a incerteza e os limites de cobertura e dê crédito às fontes. Mostrar seletivamente apenas resultados favoráveis pode transformar uma análise cuidadosa em uma recomendação enganosa.

Dados anônimos ainda apoiam decisões sobre grupos. Um resultado pode estigmatizar um bairro ou negar serviços a ele mesmo que a linha de ninguém seja identificável. Avalie o que a ação proposta causaria a esse grupo, atribua a alguém a revisão de seus efeitos e apresente preocupações desde cedo ao gestor ou ao responsável pelos dados.