Skip to content

Tiny tool to scrape and fetch address details from dasoertliche.de to investigate or gather local service provider.

License

Notifications You must be signed in to change notification settings

p3t3r67x0/dasoertliche_scraper

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

17 Commits
 
 
 
 
 
 
 
 
 
 

Repository files navigation

dasoertliche.de scraper

Simple scraper to fetch some listings from a given topic on dasoertliche.de

Why?

Actually the main reason which motivated me, was to get local landlords from a specific city. I wanted to get in touch with them to apply for any flat near by. Well, I can tell you that it worked out pretty well. Probably someone will find this helpful as well. At the moment the data is stored locally in a json file in the data directory which is ignored by git.

setup

git clone https://github.com/p3t3r67x0/dasoertliche_scraper.git
cd dasoertliche_scraper
virtualenv venv
source venv/bin/activate
pip install -r requirements.txt

how to use

Before running the script activate the virtual environment. You can query for anything which might interest you.

pyhhon crawler.py --query Hausverwaltung --offset 5 --postal-code 10963

If you do not wish to get results with an offset

pyhhon crawler.py --query Hausverwaltung --postal-code 10963

If you do not wish to get any results from a specific postal code you might not use the --postal-code option.

pyhhon crawler.py --query Hausverwaltung

logging

Well there is not any neat logging, instead some simple process output

Next url https://www.dasoertliche.de/?kw=Ferienwohnung&ci=&form_name=search_nat&recFrom=5

Detail url https://www.dasoertliche.de/Themen/Astra-Hotel-Kaiserslautern-Inh-Ingeborg-Weismantel-Kaiserslautern-Innenstadt-Rudolf-Breitscheid-Str
Detail url https://www.dasoertliche.de/Themen/Atalay-Ferienwohnung-Bad-Reichenhall-Karlstein-Am-Schroffen
Detail url https://www.dasoertliche.de/Themen/Athena-Ferienwohnung-Pirna-Weinleite
Detail url https://www.dasoertliche.de/Themen/ATLAS-REISEBÜRO-GmbH-Kempten-Allgäu-Ursulasried-Ursulasrieder-Str
Detail url https://www.dasoertliche.de/Themen/Atlas-Touring-Potsdam-Nördliche-Innenstadt-Lindenstr
Detail url https://www.dasoertliche.de/Themen/Atoos-Kleinanzeigen-Marktplatz-München-Riem-Astrid-Lindgren-Str
Detail url https://www.dasoertliche.de/Themen/atraveo-GmbH-Ferienwohnungsvermietung-Düsseldorf
Detail url https://www.dasoertliche.de/Themen/Attila-Teoman-Ferienwohnungen-Düsseldorf-Pempelfort-Moltkestr
Detail url https://www.dasoertliche.de/Themen/Auer-Heinrich-Gästehaus-Flora-Reit-im-Winkl-Dorfstr
Detail url https://www.dasoertliche.de/Themen/Auer-Wohnungsbaugesellschaft-mbH-Aue-Aue-Poststr
Detail url https://www.dasoertliche.de/Themen/Auerbach-Heinrich-Ferienwohnungen-u-Monika-Ferienwohnungen-Bayerisch-Gmain-Berchtesgadener-Str
Detail url https://www.dasoertliche.de/Themen/August-Dieter-August-Carola-Ferienwohnungsvermietung-Elend-Heinrich-Heine-Weg
Detail url https://www.dasoertliche.de/Themen/Augustins-Ferienwohnung-Würzburg-Heidingsfeld-Rübezahlweg
Detail url https://www.dasoertliche.de/Themen/Aumannwirt-Landgasthof-Bad-Feilnbach-Altofing-Mühlweg
Detail url https://www.dasoertliche.de/Themen/AURA-HOTEL-Ostseeperlen-Ostseebad-Boltenhagen-Strandpromenade
Detail url https://www.dasoertliche.de/Themen/Auras-Micaela-Ferienwohnungen-Bad-Saarow-Pieskow-Fürstenwalder-Chaussee
Detail url https://www.dasoertliche.de/Themen/Aurich-Ferienwohnung-Oelsnitz-Erzgeb-Am-Förstersteig
Detail url https://www.dasoertliche.de/Themen/Ausflugslokal-Hovestadt-Inh-Dieter-Hovestadt-Gastlichkeit-Tradition-Heek-Ahle
Detail url https://www.dasoertliche.de/Themen/Autenrieth-Ludwig-Ferienwohnungen-und-Zimmervermietung-Starnberg-Kirchplatz
Detail url https://www.dasoertliche.de/Themen/Autenrieth-Ludwig-Ferienwohnungen-und-Zimmervermietung-Weßling-Hochstadt-Dorfstr
Detail url https://www.dasoertliche.de/Themen/Autenrieth-Sieglinde
Detail url https://www.dasoertliche.de/Themen/Auto-Bike-Kuhn-S-Bad-Kissingen-Rosenstr
Detail url https://www.dasoertliche.de/Themen/Auto-Mischner-Bad-Schandau-Prossen-Gründelweg
Detail url https://www.dasoertliche.de/Themen/Autohof-und-Ferienwohnung-Eisermann-Inhaber-Andreas-und-Kerstin-Eisermann-Gersdorf-Lindenhofweg
Detail url https://www.dasoertliche.de/Themen/Aymanns-Heike-Ferienwohnung-Vossberghof-Kranenburg-Nütterden-Schmelendriß

issues

Happy to hear from you. Open a issue or just blame me

todo

  • improve methods command line options
  • implement further storage options
  • implement an export to your contact book

About

Tiny tool to scrape and fetch address details from dasoertliche.de to investigate or gather local service provider.

Topics

Resources

License

Stars

Watchers

Forks

Languages