Dados abertos e o que infraestrutura de pesquisa do Brasil ensina sobre abertura
Trabalhar com dados públicos num contexto de pesquisa ensina coisas que dado corporativo fechado não ensina: sobre licença, sobre reprodutibilidade, sobre o que significa dado que qualquer pessoa pode verificar.
Dado corporativo é fechado por padrão.
Você acessa porque tem permissão. O que você pode fazer com ele está definido em contrato ou política interna. A proveniência raramente está documentada de forma pública — você confia que o sistema que gerou o dado estava correto.
Dado aberto funciona diferente. E trabalhar com ele pela primeira vez revelou pressupostos que eu tinha sobre dado em geral.
O que dado aberto força que dado fechado não força:
Documentação de proveniência. Dado público precisa explicar de onde veio, como foi coletado, quais são as limitações conhecidas. Se você for usar dado aberto do governo, você vai encontrar metadados que descrevem metodologia de coleta, cobertura geográfica, frequência de atualização.
Dado corporativo frequentemente não tem isso — porque quem gerou está no mesmo time de quem usa, e a conversa sobre "como esse dado foi gerado" acontece no Slack em vez de em documentação formal.
Licença explícita. Dado aberto tem licença. Creative Commons, Open Database License, domínio público. A licença define o que você pode fazer — usar em produto comercial, redistribuir, modificar. Dado corporativo raramente chega com licença porque o uso está implícito.
Reprodutibilidade como critério. Em pesquisa com dados abertos, o padrão é que qualquer pessoa deve conseguir reproduzir seu resultado com o mesmo dado. Isso force você a documentar cada transformação que fez — porque sua análise só é verificável se for transparente.
O que infraestrutura de pesquisa representa:
Antes de ver de perto, eu não sabia que existia infraestrutura dedicada a conectar pesquisadores — rede de alta velocidade para transferência de dados científicos grandes, acesso a recursos computacionais compartilhados, suporte a projetos colaborativos entre universidades.
Isso existe porque ciência exige compartilhamento de dado que dado corporativo não pode ter. Genoma de 100GB precisa trafegar entre laboratórios. Dado de telescópio precisa ser acessível por astrônomos no mundo todo.
A infraestrutura que ciência construiu para compartilhamento de dado é décadas mais madura que a que a maioria das empresas tem para dado interno.
O que isso mudou em como penso sobre dado:
Abertura é design, não concessão. Dado aberto não é dado corporativo com a senha removida — é dado desenhado para ser acessível, documentado, reproduzível. A diferença começa no design, não no acesso.
Dado não verificável é dado de baixa qualidade. Se você não pode verificar como o dado foi gerado, você não pode avaliar se os resultados baseados nele são confiáveis. Isso é óbvio em ciência. Em produto de software, raramente aplicamos o mesmo critério para os dados que alimentam nossas decisões.
Licença de dado importa. Usou dado sem ler a licença? Em projeto universitário, você aprende isso do jeito difícil — quando a apresentação está pronta e você descobre que o dado que usou não permite uso em contexto que você usou.
Não me tornei especialista em dados abertos. Mas o contexto de pesquisa onde aprendi a trabalhar com dados públicos me deu perspectiva que trabalhar só com dado corporativo fechado não daria.
A abertura não é ideologia — é prática de engenharia que força qualidade.
Essa semana: os dados que alimentam suas decisões técnicas têm documentação de proveniência — ou você confia que estão corretos sem verificar?