Merge branch 'release'

Author: Eonm

.coveralls.yml

@@ -1 +1 @@
-repo_token: 
+repo_token: 5IbONs3nKWfng4aJUVWWoSjvgd3gfD4kN

.github/workflows/rust.yml

@@ -0,0 +1,15 @@
+name: Rust
+
+on: [push]
+
+jobs:
+  build:
+
+    runs-on: ubuntu-latest
+
+    steps:
+    - uses: actions/checkout@v1
+    - name: Build
+      run: cargo build --verbose
+    - name: Run tests
+      run: cargo test --verbose

.travis.yml

@@ -4,30 +4,53 @@ language: rust
 rust :
   - stable
   - nightly
+
 cache: cargo
 
-services:
-  - docker
+addons:
+  apt:
+    packages:
+      - libcurl4-openssl-dev
+      - libelf-dev
+      - libdw-dev
+      - libbfd-dev
+      - binutils-dev
+      - cmake
+    sources:
+      - kalakris-cmake
 
 before_script:
   - export PATH=$HOME/.cargo/bin:$PATH
-  - cargo install cargo-update || echo "cargo-update already installed"
-  - cargo install cargo-travis || echo "cargo-travis already installed"
-  - cargo install cross
-  - cargo install-update -a
+  - if [ "$TRAVIS_OS_NAME" = "linux" ]; then cargo install cargo-update || echo "cargo-update already installed" ; fi
+  - if [ "$TRAVIS_OS_NAME" = "linux" ]; then cargo install cargo-travis || echo "cargo-travis already installed" ; fi
+  - if [ "$TRAVIS_OS_NAME" = "linux" ]; then cargo install-update -a ; fi
 
 os:
   - linux
-sudo: false
+  - windows
+
 cache: cargo
+
 script:
-  - cargo test --verbose --all
-  - cross build --target aarch64-unknown-linux-gnu
-  - cross build --target x86_64-pc-windows-gnu
-  - cross build --target *-apple-ios
+  - if [ "$TRAVIS_OS_NAME" = "linux" ]; then ./openrefine-3.2/refine& fi
+  - if [ "$TRAVIS_OS_NAME" = "linux" ]; then python3 -m http.server& fi
+  - if [ "$TRAVIS_OS_NAME" = "linux" ]; then cargo test --verbose --all ; fi
+  - cargo build --release
+
+deploy:
+  provider: releases
+  api_key: $GITHUB_API_KEY
+  file:
+    - target/release/theses-fr-dumper
+    - target/release/theses-fr-dumper.exe
+  skip_cleanup: true
+  on:
+    repo: Eonm/theses-fr-dumper
+    branch: release
+    tags: true
 
 after_success:
-  - cargo coveralls --exclude-pattern=/.cargo,src/download/mod.rs,src/post_processors/mod.rs,src/main.rs
+  -  if [ "$TRAVIS_OS_NAME" = "linux" ]; then cargo coveralls --exclude-pattern=/.cargo,src/main.rs,scr/cli.rs ; fi
 
 notifications:
   email: false

Cargo.toml

@@ -1,6 +1,6 @@
 [package]
 name = "theses-fr-dumper"
-version = "0.1.0"
+version = "0.0.1"
 authors = ["eonm <eon.mathis@gmail.com>"]
 edition = "2018"
 

LICENSE

@@ -0,0 +1,64 @@
+<div class="center" align="center">
+ 
+# Theses.fr dumper
+ 
+ [![Build Status](https://travis-ci.org/Eonm/theses-fr-dumper.svg?branch=master)](https://travis-ci.org/Eonm/theses-fr-dumper)
+ [![Coverage Status](https://coveralls.io/repos/github/Eonm/theses-fr-dumper/badge.svg?branch=master)](https://coveralls.io/github/Eonm/theses-fr-dumper?branch=master)
+ [![made-with-Rust](https://img.shields.io/badge/Made%20with-Rust-1f425f.svg)](https://www.rust-lang.org/)
+ [![License: MIT](https://img.shields.io/badge/License-GPLv3-yellow.svg)](https://www.gnu.org/licenses/gpl-3.0.html)
+ [![dependency status](https://deps.rs/repo/github/eonm/theses-fr-dumper/status.svg)](https://deps.rs/repo/github/eonm/theses-fr-dumper)
+ 
+</div>
+
+_Theses.fr dumper_ permet de récupérer les données de [theses.fr](https://www.theses.fr) par lots.
+
+## Usage
+
+__en utilisant un fichier de sortie__
+
+```sh
+theses-fr-dumper -s 0 15 30 -f jsonl -o dump.jsonl
+```
+
+__en utilisant un pipe__
+
+```sh
+theses-fr-dumper -s 0 15 30 -f jsonl | grep -i "lorem ipsum"
+```
+
+### Création d'une séquence de téléchargement `-s num num num`
+
+La séquence de téléchargement s'exprime de la façon suivante : `-s début incrément fin`.
+
+Si aucune séquence de téléchargement n'est spécifiée _theses.fr dumper_ téléchargera l'ensemble des notices par lot de 10&nbsp;000.
+
+### Formats de récupération des données `-f`
+
+* CSV
+* Json
+* [Jsonl](http://jsonlines.org/)
+* XML (à venir)
+
+### Fichier de sortie `-o`
+
+Cet argument permet de préciser le fichier de sortie. Si un fichier existe déjà son contenu sera effacé.
+
+Sans l'argument `-o` les informations récupérées du serveur sont affichées dans directement dans console.
+
+### Mode de connexion `-m keep-alive/reset`
+
+_Theses.fr dumper_ permet de grader la connexion ouverte avec le serveur grâce à l'option `-m keep-alive`. Tous les lots seront téléchargé par la même connexion.
+
+> :warning: L'option keep-alive peut entraîner un time out côté serveur. Par défaut chaque téléchargement de lots entraîne la création d'une nouvelle connexion avec le serveur.
+
+## Build
+
+```sh
+cargo build --release
+```
+
+## Test
+
+```sh
+cargo test
+```

README.md

@@ -1,6 +1,6 @@
 use std::thread;
 use std::time::Duration;
-
+use serde_json;
 use indicatif::ProgressBar;
 
 #[derive(Debug, PartialEq)]
@@ -52,3 +52,10 @@ fn download_data(client: reqwest::RequestBuilder, debounce: Option<u64>) -> Stri
     .join()
     .expect("Faild to start thread")
 }
+
+pub fn get_total_reccords() -> String {
+    reqwest::get("https://www.theses.fr/?q=*:*&format=json&type=avancee&rows=0").expect("Failed to get theses.fr data")
+        .json::<serde_json::value::Value>()
+        .expect("Failed to get json data")["response"]["numFound"]
+        .to_string()
+}

src/download/mod.rs

@@ -17,7 +17,7 @@ mod url_builder;
 use url_builder::{csv_url_builder, json_url_builder};
 
 mod download;
-use download::{download_in_sequence, DownloadMod};
+use download::{download_in_sequence, DownloadMod, get_total_reccords};
 fn main() {
     let matches = App::new("Theses.fr dumper")
         .version("0.1.0")
@@ -76,7 +76,7 @@ fn main() {
             .collect();
         sequence(s[0], s[1], s[2])
     } else {
-        panic!("-s argument required")
+        sequence(0, 10_000, get_total_reccords().parse::<u32>().expect("Invalid sequence number"))
     };
 
     let post_process = if let Some(output_file) = matches.value_of("output") {