Que tal levar um pouco disso lá pro QueriDO?

[ppKrauss]

Olá, podemos ajudar, temos interesse em fazer análises estatísticas sobre o Diário do Rio,

• https://okfn-brasil.github.io/queriDO/site/
• https://okfn-brasil.github.io/queriDO/

[JoaoCarabetta]

Olá Peter, Li sobre o queriDO e gostei bastante da ideia. Aqui eu tentei extrair numa manhã o conteúdo do DO mas não consegui, vocês já tem isso estruturado? Também posso ajudar a escrever alguma parte do software se estiver em Python.

On Tue, May 16, 2017, 20:47 Peter ***@***.***> wrote: Olá, podemos ajudar, temos interesse em fazer análises estatísticas sobre o Diário do Rio, - https://okfn-brasil.github.io/queriDO/site/ - https://okfn-brasil.github.io/queriDO/ — You are receiving this because you are subscribed to this thread. Reply to this email directly, view it on GitHub <#1>, or mute the thread <https://github.com/notifications/unsubscribe-auth/ATCfVI9vZmjXgPrhw_GaFeKZkyOrpvfdks5r6jV-gaJpZM4NdNfM> .

-- João Carabetta (19) 99944 8764 || Data Developer @ CTS - FGV || HackGov Manager @ LABFGV <https://htmlsig.com/t/000001CA95SE> [image: Facebook] <https://htmlsig.com/t/000001CA95SE> [image: LinkedIn] <https://htmlsig.com/t/000001CC9BV9> [image: Github] <https://htmlsig.com/t/000001C5STHP>

[joaomeirelles]

Ola!
legal!

estive no inicio do queridoDO com a Bruna, mas acabei nao acompanhando o projeto.
Ela me atualizou ha uns dias e fiquei muito feliz de ver o que fizeram.

como acha que podemos cooperar?

forte abraco

[ppKrauss]

Olá gente, que bom que estão curtindo os pequenos avanços do queriDO!

Os conceitos de "original", "filtrado" e "marcado" são bem exemplificados aqui pelo demo e no guia...

A minha sugestão, como o Carabetta buscava "extrair (...) o conteúdo do DO", é que vocês deem uma força pro Marco no TrazDia, que é o módulo independente para esse fim, ao menos os originais do Rio ele já traz redondo.

... Vou tomar a liberdade de fazer o spam: "Olá Marco, apresento os Joões!", @JoaoCarabetta, @joaomeirelles , @JaTvoiRabotnik!

[JaTvoiRabotnik]

Olá Joões!

Eu estou trabalhando com o software inicialmente criado pelo Andres, o TrazDia. Ele é escrito em Python, e o objetivo é criar uma API para coletar Diários de qualquer lugar do país, retornando matérias sempre com a mesma estrutura.

No momento tou só extraindo um índice dos diários de SP, e estou no momento colocando o diário do município do Rio. Ter mais gente colaborando no desenvolvimento disso seria excelente.

Abraços,

Marco

[JoaoCarabetta]

Não conhecia o TrazDia, muito interessante a iniciativa, vou ver como posso contribuir!

Mas, atualmente eu e o @odanoburu estávamos mais interessados em ir um passo além. Ao invés de correr atrás do prejuízo e ficar parseando DO, a gente queria criar um sistema que já gera um DO perfeito.

Hoje mesmo estive com o secretário de planejamento de Mesquita RJ que topou implementar essa ideia lá. Ele é bastante ligado à transparência e gostou da ideia de ser um software open source. Seria massa se unirmos os esforços pra criar uma estrutura ideal para DOs, uma boa maneira de disponibilizar essa informação e etc.

O que vocês acham?

[JaTvoiRabotnik]

Oi Carabetta, você diz criar algo a ser implementado pelo governo? Tipo criar padrões para ajudá-los a definir como seria um DO aberto?

…

On Thu, 18 May 2017 at 23:22 João Carabetta ***@***.***> wrote: Não conhecia o TrazDia, muito interessante a iniciativa, vou ver como posso contribuir! Mas, atualmente eu e o @odanoburu <https://github.com/odanoburu> estávamos mais interessados em ir um passo além. Ao invés de correr atrás do prejuízo e ficar parseando DO, a gente queria criar um sistema que já gera um DO perfeito. Hoje mesmo estive com o secretário de planejamento de Mesquita RJ que topou implementar essa ideia lá. Ele é bastante ligado à transparência e gostou da ideia de ser um software open source. Seria massa se unirmos os esforços pra criar uma estrutura ideal para DOs, uma boa maneira de disponibilizar essa informação e etc. O que vocês acham? — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub <#1 (comment)>, or mute the thread <https://github.com/notifications/unsubscribe-auth/ABxalSS-j4e8CVt5X6DFz-IDRs023ecJks5r7PzUgaJpZM4NdNfM> .

[ppKrauss]

Olá @JoaoCarabetta , pelo que vejo é cidade pequena investindo em transparência como cidade grande(!), http://transparencia.mesquita.rj.gov.br/

Olá @JaTvoiRabotnik, vou aproveitar a sua deixa e supor que é isso mesmo ;-) ... pois seria uma grande oportunidade!

Minha sugestão, e dou todo apoio técnico para isso, é começar pelo começo:

1. indexar todo o acervo de normas do município no LexML (exemplo de Campinas) e a partir de então usar o LexML como portal (ex. via iframe dentro do mesquita.rj.gov.br).

2. rodar "sha3sum -a 256" na pasta dos PDFs ou HTMLs de cada diário. Já tem um script que faz isso visando print dos checkums... É só publicar o sha3-256sum.b58btc.txt (exemplo).

A OKBr pode eventualmente entrar como apoio institucional.

---

Detalhes.

Códigos de verificação

As três principais funções dos checksums, segundo o dpconline.org/handbook, num contexto de preservação digital, são:

1. Permite saber se um arquivo foi recebido corretamente de um proprietário ou fonte de conteúdo e, em seguida, transferido com êxito para armazenamento de preservação.

2. Permite saber que a correção de arquivos foi mantida quando esse arquivo está sendo armazenado.

3. Oferece aos usuários do arquivo no futuro a garantia de integridade, ou seja, eles saberão que o arquivo foi recuperado corretamente do repositório e entregue a eles.

Projeto sério e inclusivo

Estou disponibilizando desde já, antes do lançamento, o Projeto "LexML produzido por MEI", para
"oportunidades para trabalho com digitalização e adequação de documentos legislativos" no município de Mesquita.

[JoaoCarabetta]

@JaTvoiRabotnik exatamente. Criar um sistema interno na prefeitura de Mesquita que

1. Facilite a vida de quem faz o DO
2. Gere um DO dentro de todos os ideias de transparência

No 2. precisaremos de padrões para que essa informação seja muito boa.

A ideia é criar um produto altamente replicável para outras prefeituras de todos os tamanhos.

@ppKrauss Vi que o LexML tem um padrão para o DO. Ele é o melhor possível? Fui procurar infos sobre a prefeitura de Campinas e não achei nada posterior a 2014. Ta certo isso?

Sobre o sha3sum, vou ter que estudar melhor para entender o que ele faz.

Mas, o @odanoburu está montando uma apresentação para o prefeito de Mesquita. Ele vai compartilhar aqui em breve. Aí seria bom se vocês pudessem acrescentar ou criticar o que será apresentado

[ppKrauss]

Oi @JoaoCarabetta manda um e-mail e conversamos por lá, podemos até marcar hangouts...

PERGUNTA: foi solicitado gerar PDF+HTML ou é previsto produzir apenas HTML?

---

Sobre um produto bacana e "altamente replicável para outras prefeituras"... A minha experiência diz que é mais fácil passo-a-passo, um salto pro ideal é possível, mas pode sair muito caro e ainda com o susto criar barreiras entre usuários da prefeitura...

No seu item 1, "facilite a vida", basta ter um CKeditor na interface, ou um conversor parrudo que filtre bem MS-Word... De resto é uma árvore de termos padronizados para compor as seções do Diário, se não facilitar a vida de quem define as seções, eles criam uma certa confusão.

Depois disso... não é só publicar num blog; como vc mesmo colocou, o item 2 precisa de padrões. O mais importante é ser capaz de isolar cada matéria e dar a ela um identificador transparente, ou seja, construído a partir de metadados (autoridade da matéria, data do diário, título da matéria, etc.)... Os metadados transparentes são aqueles obtidos por simples marcação (SchemaOrg ou padrões HTML5 semânticos básicos que não span/div) e convertidos em URN LEX, como fazem também na Europa com o ELI.

Quanto a padronizar conteúdo, só num futuro distante... É complicado, a tendência no Brasil é criarem mil formulários ao invés de DTDs... Por exemplo um form para Lei, outro para Decreto, outro para Portaria, outro para Contrato de saúde, outro para contrato de educação, outro para Licitação de saúde, outro para licitação de educação, etc. etc. mil. ;-)
Eu aguardaria alguém definir padrões, como fez o LexML ao padronizar DTD da legislação brasileira. O pessoal da CGM-SP pode dar sugestões, e dicas sobre o pé que estão os padrões.

PS: Campinas descontinuou no acervo LexML, foi uma lástima, mudou a administração.

---

Dica de quem já fez: use PostegreSQL 9.5+, que lida com XML (HTML5 vira XML facinho) e com JSON (metadados flexiveis). No TrazDia temos essa modelagem, que entrega tudo que um blog (ou CMS completo) precisa.

[odanoburu]

oi @ppKrauss , um rascunho da apresentação está aqui. vou estudar as referências que você passou.

eu e @JoaoCarabetta adoraríamos discutir num hangouts o melhor procedimento a ser seguido, vou lhe enviar um email em breve!

edit: @ppKrauss , não consegui te mandar email pelo profile do github, vc pode mandar email pra mim?

[ppKrauss]

Ola @odanoburu ! Gostei do rascunho, qualquer problema com email experimente também peter no dominio ok org br.