Por que aprendi sobre dados abertos trabalhando na RNP em 2019
Em 2019 trabalhei em projeto da RNP com dados abertos do governo. Não sabia que dados públicos podiam ser tão úteis — e tão bagunçados. O que aprendi sobre qualidade de dados ficou comigo.
Em 2019 trabalhei em projeto na RNP — Rede Nacional de Ensino e Pesquisa.
A RNP é a infraestrutura de internet das universidades e institutos de pesquisa brasileiros. Conecta centenas de instituições. Tem projetos de pesquisa, educação a distância, e colaboração científica.
O projeto era integrar dados de pesquisadores brasileiros com bases de dados abertas do governo — CNPq, Plataforma Lattes, dados de financiamento de pesquisa.
Foi meu primeiro contato sério com dados abertos. E com os problemas de dados abertos.
Dados abertos são dados que governos e instituições públicas disponibilizam para acesso livre. No Brasil: dados.gov.br, IBGE, CNPq, TCU, CGU. A ideia é transparência e reutilização — pegar dados de licitações, cruzar com dados de empresas vencedoras, investigar padrões. É dado real, de instituições reais, com contexto real. Diferente de dataset de tutorial.
Quando abri meu primeiro dataset de dados abertos, a realidade foi diferente do esperado.
Colunas sem nome claro: col_1, col_2, valor_1. Encoding inconsistente: CSV com acentos em Latin-1, não UTF-8 — abria no Python e aparecia ção onde devia ser ção. Campos vazios onde não devia: CPF obrigatório com 8% de registros sem CPF. Duplicatas: mesmo pesquisador com IDs diferentes, UNICAMP e Universidade Estadual de Campinas como entradas separadas. E datasets que deviam ser mensais com última atualização há 8 meses.
Dados do mundo real nunca são limpos. Nunca. É a realidade de qualquer sistema que coletou dados por anos, com diferentes pessoas inserindo, diferentes formulários, diferentes validações ao longo do tempo. Pesquisadores estimam que 60–80% do tempo num projeto de dados vai para limpeza. Parece muito. Na prática, parece mais.
O que me ajudou: escrever o código de limpeza como pipeline (cada transformação é etapa separada, você pode rodar de novo quando chega dado novo), documentar as suposições ("registros com CPF vazio foram descartados", "datas DD/MM/YYYY foram convertidas para ISO 8601"), e nunca modificar o dado original — trabalha com cópia, o bruto fica intocado, as transformações aplicadas em cópia separada.
Dados abertos como recurso de aprendizado
Uma coisa que aprendi nesse projeto: dados abertos são ótimos para praticar.
Se você quer aprender SQL, pega o dataset de licitações do governo e faz queries. Se quer aprender visualização de dados, pega dados do IBGE e faz gráficos. Se quer aprender sobre qualidade de dados, pega qualquer dataset do dados.gov.br e tenta limpar.
É dado real, com problema reais, sem custo. E você aprende o dobro do que aprenderia com dataset limpo de tutorial.
Essa semana: vai no dados.gov.br, escolhe um dataset do seu estado ou área de interesse, baixa e abre no Python ou na sua linguagem de escolha. Conta quantos valores nulos tem. Você vai se surpreender.