Cache dos dados wikidata

[tcarreira]

Preparar um script que faça download dos dados das queries, e os guarde em formato estático (eg: json)
Publicar esses dados num sítio acessível (outro branch?)

• download json
• encontrar as queries nos ficheiros html
• github actions para publicar os json -> github actions para atualizar static-data automaticamente (cron) #51

[marado]

Se quiseres uma ferramenta em bash para fazer wikidata queries:
https://github.com/transparenciahackday/autores-portugueses/blob/master/wikidata/query-wikidata.sh

[waldyrious]

Publicar esses dados num sítio acessível (outro branch?)

Não vejo razão para não incluir na branch principal. Podem ficar vários ficheiros (um para cada tipo de entidade) numa pasta data/, e assim até podemos colocar um README nessa pasta a explicar como os dados são obtidos e atualizados.

[waldyrious]

☐ download json

Em relação ao formato, penso que guardar diretamente em GeoJSON pode ser a melhor opção, porque não só os dados ficam semanticamente anotados, como quer o Leaflet quer o próprio GitHub conseguem fazer rendering diretamente de dados em GeoJSON, não sendo preciso qualquer processamento. Até dá para configurar o GeoJSON para usar ícones personalizados (do conjunto Maki) e color-coding dos pontos por categoria!

Estive a fazer umas experiências e basicamente basta transformar os dados brutos do Wikidata no GeoJSON equivalente, o que pode ser feito de forma completamente determinística. Por exemplo, esta entrada de uma lista de resultados do Wikidata (exportado como JSON):

{
  "item": "http://www.wikidata.org/entity/Q71890449",
  "itemLabel": "Biblioteca Municipal de Figueiró dos Vinhos",
  "geo": "Point(-8.273731 39.900399)"
}

...seria convertido neste GeoJSON (mostrado em notação diff para salientar as linhas correspondentes ao JSON acima):

 {
   "type": "Feature",
   "geometry": {
     "type": "Point",
+    "coordinates": [-8.273731, 39.900399]
   },
   "properties": {
+    "nome": "Biblioteca Municipal de Figueiró dos Vinhos",
     "tipo": "biblioteca",
+    "wikidata": "<a href='https://www.wikidata.org/wiki/Q71890449'>Q71890449</a>",
     "marker-symbol": "library",
     "marker-color": "#f90"
   }
 }

Criei um gist a mostrar como fica com vários tipos de entidades, ícones e cores personalizadas. Screenshot abaixo para aguçar o apetite :)

[tcarreira]

Isso parece me super interessante. Vou então fazer a parte de guardar os dados em json normal.
Depois disso feito, trata-se da conversão para geo json, OK?

[tcarreira]

Vou abrir issue separada para isto:
github actions para atualizar static-data