Der hier vorhandene Satz Skripte parsed die exportierten Telefonbuchdatenbanken
von 'Das Telefonbuch' und importiert die Daten in eine Postgresql-DB. Dabei werden
zahlreiche Probleme automatisiert gefixt.

Siehe auch:

- Erdgeist: "Reverse-Engineering für Ortsfremde", Datenschleuder 77,
  http://ds.ccc.de/pdfs/ds077.pdf
- https://erdgeist.org/cvsweb/Telefonbuch/#dirlist

Wie man eine Telefonbuchdatenbank aufbaut
------------------------------------------


Hinweis: Eine Zeile im Telefonbuch wird meist als
'Zeile' oder 'line' bezeichnet. Eine Continuation
ist ein Satz von Zeilen, die irgendwie semantisch zu
einem Telefonbucheintrag dazugehoeren. Die Continuations
werden in der DB abgebildet.

*
*  Datenbank vorbereiten
*

  > createdb phonebook
  > createuser pbookuser

  > psql phonebook

  ... und dann die folgenden Zeilen SQL-Code pasten

	--
	-- Tabellenlayout fuer die gemergten Eintraege
	--

	drop table tb_eintrag;
	create table tb_eintrag (
	        id serial not null, -- ID des Eintrags

		cont_id integer,   -- ID der Continuation
		cont_pos smallint, -- Position innerhalb der Continuation

		-- bit 0 - contains URL
		-- bit 1 - unused
		-- bit 2 - Darf Inverse gesucht werden
		-- bit 3 - Juristische Person
	
		inverse_allowed boolean,
		is_corporation boolean,
	
	        nachname varchar,
	        vorname varchar,
	        namenszusatz varchar,
		detail varchar,
	
	        strasse varchar,
	        hausnummer varchar,
		adresszusatz varchar,

	        plz char(5),
	        ort varchar,
		ortszusatz varchar,

		lvw char(2),
	        vorwahl varchar,
	        rufnummer varchar,

		is_phone bool,     -- zwei Flags, um Fax=Fon abbilden zu koennen
		is_fax bool,

		email varchar,
		webadresse varchar,

	        version bigint
	);

	-- Wesentliche Indizes fuer den Aufbau

	create unique index idx_tb_eintrag_id on tb_eintrag(id);
	create index idx_tb_eintrag_cont_id on tb_eintrag(cont_id);
	create index idx_tb_eintrag_completenumber on tb_eintrag(lvw, vorwahl, rufnummer);


	-- Sequence fuer die Continuations
	drop sequence seq_cont_id;
	create sequence seq_cont_id start with 1;


*
* Telefonbuchdaten parsen
*

  Zum Parsen, Reparieren, Importieren, Mergen der Telefonbuchdaten gibt es das
  Skript tb_parser.pl . Der letzte Parameter gibt den Modus an.

  > sh process_all_pbooks.sh fixmelater
  > sh process_all_pbooks.sh repair
  > sh process_all_pbooks.sh import

  Der Modus fixmelater laesst zunaechst das Programm laufen. Anhand der Programmausgaben
  kann man abschaetzen, welche Probleme automatisiert fixbar waeren, wenn man entsprechend
  den Code anpasst. Der Modus 'repair' fragt den Benutzer nach der Eingabe eines manuellen
  Fixes. Dieser wird in einer lokalen Datei gespeichert und steht fuer spaetere Durchlaeufe
  zur Verfuegung. Bis inkl. Fruehjahr 2007 sind Patchsets vorhanden. Die kann ich aus
  naeheliegenden Gruenden natuerlich nicht oeffentlich machen.

  Anzahl der Fixes/Ignores pro Telefonbuch:

  243 .1998_Herbst.patch
  13 .1999_Fruehjahr.patch
  108 .1999_Herbst.patch
  193 .2000_Fruehjahr.patch
  163 .2000_Herbst.patch
  208 .2001_Fruehjahr.patch
  303 .2001_Herbst.patch
  132 .2002_Fruehjahr.patch
  86 .2002_Herbst.patch
  90 .2003_Fruehjahr.patch
  71 .2003_Herbst.patch
  137 .2004_Fruehjahr.patch
  145 .2004_Herbst.patch
  145 .2005_Fruehjahr.patch
  40 .2005_Herbst.patch
  232 .2006_Fruehjahr.patch
  359 .2006_Herbst.patch
  783 .2007_Fruehjahr.patch


  Beispiele fuer Patch-Eintraege:

  13111046;action=ignore;test=cleanup_number

    Bedeutet, dass in Zeile 13111046 der Code fuer die Rufnummernbereinigung scheitert,
    und das Tool beim naechsten Run die Zeile in Bezug auf den Rufnummern-Check ignorieren
    soll.

  30831702;action=fixlater;test=cleanup_number

    Testfall schlug fehl. Das soll bei einem spaeteren Lauf repariert werden.

  14803957;action=replace;test=check_number;rufnummer=568XXXXX

    In der Zeile muss eine Rufnummer ersetzt werden (hier anonymisiert).


*
* Volltextindex erzeugen (fuer Arme-Leute-Datenbanken)
*

  for i in nachname vorname strasse ort ortszusatz namenszusatz adresszusatz detail; do 
	time perl fti_dbi.pl --db phonebook --table tb_eintrag --columns $i; 
  done


*
* Die restlichen Indizes Anlegen
*

  > psql phonebook

	create index idx_tb_eintrag_plz on tb_eintrag(plz);
	create index idx_tb_eintrag_prefix on tb_eintrag(vorwahl);
#	create index idx_tb_eintrag_nummer on tb_eintrag(rufnummer);