notebooks/Demo-text-search-in-pagexml-archive.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "c54d1433",
   "metadata": {},
   "source": [
    "# Text Search in Line Format Files\n",
    "\n",
    "**Note**: This tutorial follows and depends on the tutorial on [Reading PageXML files from archives](./Demo-reading-pagexml-files-from-archive.ipynb). It assumes you have downloaded the PageXML archives and derived line format files from them. \n",
    "\n",
    "In this tutorial, some basic text search functionalities are demonstrated:\n",
    "\n",
    "- `find_term_in_context` allows you to search for words or phrases in a set of PageXML documents and to see them in their surrounding context  (see [text_helper.py](../pagexml/helper/text_helper.py)).\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "id": "3e6ce1d3",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "{'doc_id': 'NL-AsnDA_0114.11_1_0001.jpg', 'textregion_id': 'r1', 'line_id': 'r1l1', 'text': 'Eerste blad', 'doc_box': '0,0,2600,3976', 'textregion_box': '195,1723,374,160', 'line_box': '181,1733,400,132'}\n"
     ]
    }
   ],
   "source": [
    "import pagexml.helper.text_helper as text_helper\n",
    "\n",
    "line_file = '../data/line_format-NL-AsnDA_0114.11.tsv.gz'\n",
    "\n",
    "reader = text_helper.LineReader(pagexml_line_files=line_file)\n",
    "\n",
    "for line in reader:\n",
    "    # print a line to remind us of what a line looks like\n",
    "    print(line)\n",
    "    break"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "id": "82cd8a30",
   "metadata": {},
   "outputs": [],
   "source": [
    "from collections import Counter\n",
    "import re\n",
    "\n",
    "word_freq = Counter()\n",
    "\n",
    "for line in reader:\n",
    "    if line['text'] is None:\n",
    "        continue\n",
    "    words = [token for token in re.split(r'\\W+', line['text']) if token != '']\n",
    "    word_freq.update(words)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "id": "dc1d71e4",
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "(46856, 237704)"
      ]
     },
     "execution_count": 3,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "len(word_freq), sum(word_freq.values())"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "id": "e717b7e5",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "gulden                  3911\n",
      "wonende                 1252\n",
      "honderd                 1245\n",
      "twintig                 1013\n",
      "getuigen                 862\n",
      "notaris                  815\n",
      "worden                   771\n",
      "vijftig                  733\n",
      "gemeente                 602\n"
     ]
    }
   ],
   "source": [
    "for word, freq in word_freq.most_common(50):\n",
    "    if len(word) < 6:\n",
    "        continue\n",
    "    print(f\"{word: <20}{freq: >8}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "id": "1050137e",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "      en mede ondergeleekende getuigen\n",
      "               te Uessen, als getuigen vinals de\n",
      "           comparanten met de getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Assen, als getuigen\n",
      "           comparanten met de getuigen nevens\n",
      "                 bij zijn der getuigen aan\n",
      "      en mede ondergeteeeende getuigen\n",
      "               ondergetulende getuigen, overgegaan te den\n",
      "               in bijzijn der getuigen\n",
      "                te Assen, als getuigen even\n",
      "                Een hebben de getuigen nevens mij Notaris\n",
      "                te Aisen, als getuigen even als de\n",
      "           comparanten met de getuigen neven\n",
      "                          als getuigen aan ns notaris\n",
      "                Een hebben de getuigen nevens mij Notaris\n",
      "               in bijzijn der getuigen aan\n",
      "                te Assen, als getuigen aan mij Notaris\n",
      "                Een hubben de getuigen nevens my dsetarin\n",
      "      en mede ondergeteekende getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "                          als getuigen even als de\n",
      "           comparanten met de getuigen\n",
      "              ondergeteelende getuigen, overgegaan tot den\n",
      "                 bij zijn der getuigen aan\n",
      "           comparanten met de getuigen ne\n",
      "                te Assen, als getuigen aan\n",
      "                 En hebben de getuigen nevens mij Notaris\n",
      "           comparanten met de getuigen en mij\n",
      "             seide natenoemen getuigen\n",
      "      tegenwoordighend van de getuigen en mij notaris\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Assen, als getuigen\n",
      "           comparanten met de getuigen en my\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Ussen, als getuigen even als de\n",
      "            comparante met de getuigen nevens\n",
      "      en medi ondergeteekende getuigen\n",
      "                              getuigen even als de\n",
      "           comparanten met de getuigen ne\n",
      "         mede ondergeteekende getuigen\n",
      "              onderdeteekende getuigen, overgegaan tot den\n",
      "               en bijzijn der getuigen\n",
      "                te Assen, als getuigen even\n",
      "           comparanten met de getuigen ne\n",
      "                   Essen, als getuigen enen als lees\n",
      "                 En hebben de getuigen nevens mij Notaris\n",
      "                              getuigen\n",
      "           comparanten met de getuigen\n",
      "                te Assen, als getuigen even als de\n",
      "           comparanten met de getuigen ne\n",
      "                te Assen, als getuigen even als decom\n",
      "           comparanten met de getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Ussen, als getuigen enen al\n",
      "            comparante met de getuigen ne\n",
      "                   geteekende getuigen\n",
      "           comparanten met de getuigen\n",
      "            in ter natenoemen getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Assen, als getuigen, evena de\n",
      "            compranten met de getuigen en mij\n",
      "                te Assen, als getuigen even als de\n",
      "             comparant met de getuigen neven\n",
      "         der beide natenoemen getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Assen, als getuigen evenal\n",
      "           comparanten met de getuigen nevens\n",
      "                te Aesen, als getuigen, even als de\n",
      "           comparanten met de getuigen en mij natrris\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Assen, als getuigen\n",
      "           comparanten met de getuigen neven\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Assen, als getuigen en en als\n",
      "           comparanten met de getuigen nevens\n",
      "          noemen, mij bekende getuigen\n",
      "                te Assen, als getuigen\n",
      "           compuranten met de getuigen en\n",
      "          ede ondergeteekende getuigen\n",
      "              woordigheid den getuigen verklaard heet, gelijk\n",
      "                   dn genemde getuigen\n",
      "          dijlen den genoemde getuigen, welke getuiigen\n",
      "            comparant, met de getuigen en my\n",
      "                 te Assen als getuigen even als de\n",
      "           comparanten met de getuigen ne\n",
      "                      ken der getuigen verklaard heeft, gelijk\n",
      "                              getuigen\n",
      "         drjkeid der genoemde getuigen, welke getuigen\n",
      "           comparante, met de getuigen en\n",
      "                den natenomen getuigen\n",
      "                  te Ason als getuigen\n",
      "           comparanten met de getuigen en mij\n",
      "       en mede ondergetukende getuigen, over\n",
      "               in bijzijn der getuigen aan\n",
      "                 En hebben de getuigen nevens mij Notaris\n",
      "                  na te nemen getuigen\n",
      "                 te usen, als getuigen\n",
      "          coorpmanten, met de getuigen en mij\n",
      "           comparanten met de getuigen en my\n",
      "                zeide nemenen getuigen\n",
      "                    notinemen getuigen\n",
      "               ten Assen, als getuigen\n",
      "             compuuten met de getuigen en mij\n",
      "            compaanten met de getuigen en\n",
      "                  na te nomen getuigen\n",
      "                          als getuigen evenals de comparanten\n",
      "                       ten de getuigen nevens mijd otaris\n",
      "                              getuigen overgegaan tot den\n",
      "                 bij zijn der getuigen\n",
      "                te Assen, als getuigen aan mij\n",
      "                 en hebben de getuigen nevens mij otaris\n",
      "                              getuigen\n",
      "                te Assen, als getuigen even als de\n",
      "           comparanten met de getuigen nevens\n",
      "            ven den natememen getuigen\n",
      "                   assen, als getuigen even als de\n",
      "           comparanten met de getuigen nevens\n",
      "                te Assen, als getuigen, ennals de com\n",
      "             comparant met de getuigen en my\n",
      "                              getuigen gewaanmerkt en Een\n",
      "                          als getuigen eveval de comparant\n",
      "              compaant met de getuigen en\n",
      "                 te Aren, als getuigen, mij no\n",
      "       in tegenwoordijken der getuigen verklaar\n",
      "          dryken den genoemde getuigen\n",
      "                 der genoemde getuigen\n",
      "             comparant met de getuigen en mij\n",
      "                    geteeende getuigen, overgegaan te den\n",
      "                 bij zijn der getuigen aan\n",
      "                          als getuigen even als de\n",
      "                 En hebben de getuigen nevens mij otaris\n",
      "           de ondergeteekende getuigen, overgegaan tot den\n",
      "               in bijzijn der getuigen aan\n",
      "       en mede omdergstalende getuigen, oviergegaan tot\n",
      "                 bij zijn der getuigen aan de\n",
      "                te Assen, als getuigen aan mij Notaris\n",
      "                  En hebbende getuigen nevens mij Notaris\n",
      "         nede ondergeteekende getuigen, oviergegaan tot\n",
      "                 bij zijn der getuigen aan\n",
      "                te Ossen, als getuigen evenal\n",
      "                              getuigen overgegaan tot den\n",
      "                 bij zijn der getuigen aan\n",
      "                te Zessen als getuigen aan mij\n",
      "                  Enhebben de getuigen nevens mijd Soturis\n",
      "               ondergteekende getuigen\n",
      "      en mede ondergeteekende getuigen, overgegaan Ed den\n",
      "               in bijzijn der getuigen\n",
      "                te Assen, als getuigen enen\n",
      "           comparanten met de getuigen nevens\n",
      "                te Assen, als getuigen\n",
      "                 en hebden de getuigen nevens mij Notaris\n",
      "                           de getuigen, ovvergegaan tot den\n",
      "                in bij mjnder getuigen\n",
      "                te Assen, als getuigen even als\n",
      "                 Een hebbende getuigen noem mij Notaris\n",
      "                     tenoemen getuigen\n",
      "       woonachtig, beiden als getuigen, even als de\n",
      "           comparanten met de getuigen en mij\n",
      "                te Assen, als getuigen, verrchenen\n",
      "                              getuigen verklaard heeft, gelijk\n",
      "                 ten genoemde getuigen\n",
      "                  der gomende getuigen, welke getuigen evenah\n",
      "            comparante met de getuigen en\n",
      "      en mede ondergeteekende getuigen\n",
      "                              getuigen evinds de comparanten\n",
      "           commaranten met de getuigen ne\n",
      "                              getuigen, oargegaan tot den\n",
      "                   by zyn der getuigen aan\n",
      "                te Assen, als getuigen aan\n",
      "                 En hebben de getuigen nevens mij Notaris\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Assen, als getuigen aaan mij\n",
      "                 ren hebbende getuigen nuens mij dNotaris\n",
      "                    te noemen getuigen, my bevindende ten\n",
      "            compranten en den getuigen, in han\n",
      "                 de Aiten als getuigen ennals den comparanten\n",
      "                       met de getuigen en mij notaris\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Aesen, als getuigen, enna\n",
      "           comparanten met de getuigen en min\n",
      "                 na te noemen getuigen\n",
      "                te Asson, als getuigen, evends de compa\n",
      "           comparanten met de getuigen en mij\n",
      "                 na te noemen getuigen\n",
      "                 bij zijn der getuigen aan\n",
      "                           De getuigen, even als de\n",
      "           comparanten met de getuigen en mij\n",
      "                te Assen, als getuigen aan mij Notaris\n",
      "                Een helben de getuigen nevens mij Notaris\n",
      "          voegde en verzochte getuigen verschenen\n",
      "   genwoordichid der genoemde getuigen\n",
      "tegenwoordigheid der genoemde getuigen, welke geteei\n",
      "              de erflater, de getuigen nevens mij Notaris\n",
      "                 bij zijn der getuigen\n",
      "                te Assen, als getuigen\n",
      "          de comparanten dees getuigen nevens\n",
      "                          men getuigen en van mij\n",
      "                 te Assen als getuigen\n",
      "                   natenoemen getuigen\n",
      "             comparant en der getuigen in handen van\n",
      "tegenwoordigheid der genoemde getuigen\n",
      "           deskuurdigen en de getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Assen, als getuigen evenale de compa\n",
      "           comparanten met de getuigen vreven\n",
      "                 te Assen als getuigen eren als de\n",
      "            zoithebben met de getuigen\n",
      "                          als getuigen evenals de comparanaen\n",
      "           comparenten met de getuigen nevens\n",
      "                    natenemen getuigen\n",
      "                              getuigen en mij notaris\n",
      "                te desen, als getuigen, even\n",
      "          comparanten met den getuigen en\n",
      "                der natenemen getuigen\n",
      "                te disen, als getuigen, evenals de comparanten\n",
      "             companten met de getuigen en\n",
      "                   natenoemen getuigen\n",
      "        tegenwoordigten om de getuigen en mij notaris\n",
      "          comparanten, met de getuigen\n",
      "                              getuigen\n",
      "                      tukende getuigen, overgegaan tot den\n",
      "                          als getuigen aan mij Notaris\n",
      "         comparanten met lees getuigen ne\n",
      "      en mede ondergeteekende getuigen\n",
      "                te Assen, als getuigen ennals de compa\n",
      "           comparanten met de getuigen ne\n",
      "                te Assen, als getuigen even als de\n",
      "           comparanten met de getuigen nevens\n",
      "      en mede ondergeteekende getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "                   Assen, als getuigen even als de\n",
      "           comparanten mit de getuigen in\n",
      "       en mede ondergeteeende getuigen, overgegaan\n",
      "                 hij zijn der getuigen aan de\n",
      "                te Assen, als getuigen ewen als de\n",
      "            kusthebber met de getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "                 te Asen, als getuigen even als hers\n",
      "                 Eenhebben de getuigen num mij Notaris\n",
      "      en mede ondergeleekende getuigen\n",
      "                 te Esen, als getuigen aan mij do\n",
      "                  renhebbende getuigen nevensmge otaris deze\n",
      "              ondergeteekende getuigen overgegaan tot de\n",
      "                    de en als getuigen, evem al de\n",
      "           comparanten met de getuigen en\n",
      "                te Assen, als getuigen aan\n",
      "           commaranten met de getuigen noens my Nota\n",
      "          en beide natenoemen getuigen\n",
      "        en mede ondergetuende getuigen\n",
      "      in tegenwoordigheid der getuigen\n",
      "                te Assen, als getuigen even\n",
      "           comparanten met de getuigen ne\n",
      "                te Aisen, als getuigen, evenals de compa\n",
      "            commuanten met de getuigen en\n",
      "                  na te nemen getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "             onder geteekende getuigen overgegaan tel den\n",
      "                       ziende getuigen\n",
      "       en mede ondergeteuende getuigen\n",
      "          commarrenten met de getuigen\n",
      "                te Kolde, als getuigen overra de\n",
      "            lasthebben met de getuigen\n",
      "                           as getuigen beiden wonende te\n",
      "         tegenwoordigheid der getuigen verklaard\n",
      "                 der genoemde getuigen\n",
      "            teid der genoemde getuigen, welke getuigen\n",
      "             comparant met de getuigen\n",
      "                te Assen, als getuigen\n",
      "      in tegenwoordighing der getuigen verklaard heeft\n",
      "                 der genoemde getuigen\n",
      "                     genoemde getuigen, welke getuigen evien als de\n",
      "            comparante met de getuigen en me\n",
      "      en mede ondergeteekende getuigen\n",
      "                   Assen, als getuigen wen als de\n",
      "           comparanten met de getuigen neven\n",
      "      en mede ondergeteekende getuigen\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                 bij zijn der getuigen\n",
      "                 te Assen als getuigen aan mij\n",
      "                te Uessn, als getuigen en en als\n",
      "            lasthebber mit de getuigen\n",
      "        en mede ondergetuende getuigen overge\n",
      "                       noemen getuigen\n",
      "                 te Assen als getuigen, evenals de compranten\n",
      "           comparanten met de getuigen en mij\n",
      "       en mede ondergeteeende getuigen\n",
      "                   te sen als getuigen even als de\n",
      "                   te ven als getuigen evenals\n",
      "            mmmaranten met de getuigen\n",
      "                       in der getuigen in honden van\n",
      "                      ymoemde getuigen. En hebten de\n",
      "      en mede ondergeteekende getuigen\n",
      "      in tegenwoordigheid der getuigen en van\n",
      "                te Assen, als getuigen\n",
      "           comparanten mit de getuigen neven\n",
      "              voor notaris en getuigen te ver\n",
      "         en mede dergeteeende getuigen\n",
      "                te Assen, als getuigen even\n",
      "            lasthebben met de getuigen\n",
      "                 na te noemen getuigen\n",
      "                  te Asen als getuigen\n",
      "      in tegenwoordigheid der getuigen\n",
      "                              getuigen\n",
      "      wordigheid der genoemde getuigen, welke getei\n",
      "            comparant, met de getuigen en\n",
      "                 te Asen, als getuigen even als de\n",
      "      en mede ondergeteekende getuigen\n",
      "               te Eissen, als getuigen\n",
      "           comparanten met de getuigen ne\n",
      "                           de getuigen overgegaan tot den\n",
      "                 bij zijn der getuigen\n",
      "                te Assen, als getuigen aan mij Notaris\n",
      "                 En hebben dn getuigen nevens mij dsoteeren\n",
      "      en mede ondergetediende getuigen overgegaan tot\n",
      "                 bij zijn der getuigen aan\n",
      "                nie te noemen getuigen\n",
      "           comparanten met de getuigen neven\n",
      "       en mede ondegeteekende getuigen\n",
      "                 te ssen, als getuigen\n",
      "                 En hebben de getuigen nums mij Notaris\n",
      "                te Assen, als getuigen even als de\n",
      "            lasthebber met de getuigen\n",
      "         mede ondergeteekende getuigen, overgegaan tot den\n",
      "                 bij zijn der getuigen aan\n",
      "      en mede ondergeteekende getuigen\n",
      "                 bij zijn der getuigen\n",
      "                te Assen, als getuigen aan mij dbi\n",
      "                Een hebben de getuigen nevens mij Notaris\n",
      "                              getuigen verklaard heeft, geljk\n",
      "                              getuigen\n",
      "      Genoemde Getuigen welke getuigen evench de\n",
      "                 te Assen als getuigen aan mij Notaris\n",
      "                 ronhebben de getuigen nevens mij Notaris\n",
      "      en mede ondergeledkende getuigen\n",
      "                te Assen, als getuigen even\n",
      "           comparanten met de getuigen ne\n",
      "      en mede ondergeteekende getuigen\n",
      "           comparanten mit de getuigen\n",
      "                 bij zijn der getuigen aan\n",
      "                              getuigen aan mij dotaris\n",
      "                  En hebbende getuigen nevens mij Notaris\n",
      "      en mede ordngeteekeende getuigen\n",
      "               te Elsten, als getuigen wen als de\n",
      "           comparanten met de getuigen neven\n",
      "          voegde en verzochte getuigen verschenen\n",
      "              van de genoemde getuigen heeft\n",
      "                    en van de getuigen\n",
      "        digheiden vergenoemde getuigen, welke geteigen\n",
      "             de comparante de getuigen nivens\n",
      "                              getuigen\n",
      "                dergeteekende getuigen\n",
      "                te Assen, als getuigen even als de\n",
      "           commaranten met de getuigen\n",
      "                 te Aien, als getuigen enenals\n",
      "           comparanten met de getuigen\n",
      "                              getuigen, welke getuigen even als de\n",
      "             comparant met de getuigen n\n",
      "                           de getuigen, welke getuigen evenals de\n",
      "           erflaatster met de getuigen nevens\n",
      "                te Ussen, als getuigen verschenen\n",
      "                  digheid der getuigen verlaard heeft, gelijk\n",
      "                  derdenoemde getuigen\n",
      "                te Assen, als getuigen verschenen\n",
      "                  degheid der getuigen verklaard heeft, gelijk\n",
      "tegenwoordigheid der benoemde getuigen\n",
      "             beide natenoemen getuigen\n",
      "                        en de getuigen van een erkend\n",
      "                        en de getuigen in handen van\n",
      "tegenwoordigheid der genoemde getuigen\n",
      "             de desturdige de getuigen en\n",
      "               te Vlssen, als getuigen even als\n",
      "                  rechter, de getuigen, nevens mij notaris\n",
      "                 te Essen als getuigen even al\n",
      "        en mede ondoerstukene getuigen\n",
      "                 bij zijn der getuigen aan\n",
      "                te Ussen, als getuigen aan\n",
      "                ten hebben de getuigen nevns mij Notaris\n",
      "tegenwoordigheid den netenoemen getuigen\n",
      "           gemeente assen als getuigen, verschenen\n",
      "tegenwoordigheid der genoemde getuigen, welke\n",
      "                              getuigen even als de\n",
      "           erflastster met de getuigen neven my\n",
      "                   veiden als getuigen enaes de compranten\n",
      "     natenoemen, mij bekende, getuigen\n",
      "                            i getuigen, overgegaan tot den\n",
      "                   hy zyn der getuigen\n",
      "          aldaar wonende, als getuigen\n",
      "           Comparanten met de getuigen en mij notaris\n",
      "                              getuigen aan mij Notaris\n",
      "                Een heblen de getuigen nevens mij Notaris\n",
      "                 bij zijn der getuigen\n",
      "                Een hebben en getuigen nevens mij Notaris\n",
      "                           de getuigen, overgegaan tot den\n",
      "                          als getuigen eveals en comparanten\n",
      "         de comparanten metde getuigen nevens mij Notaris\n",
      "                 na te noemen getuigen\n",
      "                    Nsen, als getuigen ever als de\n",
      "           comparanten met de getuigen en\n",
      "                          men getuigen\n",
      "      en mede ondergeteekende getuigen, overge\n",
      "           comparanten met de getuigen en mij\n",
      "                  by zijn der getuigen aan\n",
      "                     teekende getuigen\n",
      "                te Essen, als getuigen aan\n",
      "                  Een heen de getuigen nevens mij Notaris\n",
      "                te Assen, als getuigen, en even als\n",
      "           Comparanten met de getuigen en\n",
      "               Condergtulende getuigen, overgegaantet den\n",
      "                in byzijn der getuigen\n",
      "                          als getuigen aan mij Notaris\n",
      "                 En hebben de getuigen nvins mij Notaris\n",
      "              ondergeteekende getuigen, overgegaan tot voortzetting\n",
      "                 te Assen als getuigen aan mij dotwin\n",
      "                 ten hebbende getuigen nevens mij Notaris\n",
      "      en mede ondergeteekende getuigen\n",
      "            klerkn biiden als getuigen, even als de\n",
      "             commamten met de getuigen en my\n",
      "                   geteelende getuigen overgegaan tot den\n",
      "                 bij zijn der getuigen van\n",
      "            van de natenoemen getuigen\n",
      "       tegonwoordighen van de getuigen en\n",
      "                te Aszen, als getuigen aan my otaris\n",
      "                 En hebben de getuigen nevens mij Notaris\n",
      "                 bij zijn der getuigen aan\n",
      "               te Arssen, als getuigen, overd\n",
      "             deskundige en de getuigen, met mij notaris\n",
      "                     Asen als getuigen vercbenen\n",
      "      in tegenwoordigheid den getuigen verklaard heeft gelijk\n",
      "                           de getuigen\n",
      "                 tenhdeben de getuigen muens mijdNotaris dr\n",
      "                           de getuigen welke getuigen oven als de\n",
      "             Comparant met de getuigen ze\n",
      "                          der getuigen\n",
      "                    Den welke getuigen, even als de\n",
      "          verflaatster met de getuigen\n",
      "                 te osten als getuigen verrbeven\n",
      "Notaris integenwoordigheid der getuigen verklaard\n",
      "                 te assen als getuigen vesberen\n",
      "      in tegenwoordigheid der getuigen ver\n",
      "                  dergenoemde Getuigen\n",
      "tegenwoordigheid der genoemde getuigen, welke ge\n",
      "             Comparant met de getuigen nevens\n",
      "                    AOsen als getuigen, verschenen\n",
      "      in tegenwoordigheid der getuigen verklaard heeft\n",
      "     woordigheid der Genoemde getuigen\n",
      "integenwoordigheid der genoemde Getuigen wel\n",
      "                           ke getuigen even als de\n",
      "           erflaatster met de getuigen ne\n",
      "                  na te memen getuigen\n",
      "               ten Ansen, ale getuigen men\n",
      "          comparanten met den getuigen en my\n",
      "                  hein van de getuigen en mij notaris\n",
      "                 te assen als getuigen evende de comparanten\n",
      "                          den getuigen in honden van\n",
      "       windigheid der gemende getuigen\n",
      "             deskundige en de getuigen met mij notaris\n",
      "       en mede ondergetelende getuigen\n",
      "                          als getuigen enenals de comparanten\n",
      "           comparanten met de getuigen\n",
      "                          als getuigen verschenen\n",
      "                          den getuigen verklaard heeft gelijk\n",
      "                     genoemde getuigen welke getuigen even als de\n",
      "            erflaatste met de getuigen nevens\n",
      "                     sin, als getuigen\n",
      "                              getuigen verklaard heeft, gelijk\n",
      "                              getuigen\n",
      " tegenwoordiyheid der genemde getuigen\n",
      "                        welke getuigen oven de comparant\n",
      "              iunjunnt met de getuigen en mij\n",
      "             beide natenoemen getuigen\n",
      "           comparanten met de getuigen en mij\n",
      "                              getuigen, ooorgegaan tot den\n",
      "                in byzijn der getuigen\n",
      "       ntiniklerk, benden als getuigen enn de\n",
      "          wonende te Assenels getuigen aan my\n",
      "          de comparanten hees getuigen nevens mij\n",
      "                              getuigen\n",
      "                        an de getuigen even als de\n",
      "                hebben met de getuigen\n",
      "                   natenoemen getuigen\n",
      "  minen mede ondergeteekeende getuigen, ovorgegaan\n",
      "                 bij zijn der getuigen\n",
      "                te Assen, als getuigen\n",
      "          comparanten zees de getuigen nvens\n",
      "tegenwoordigheid der natenoemen getuigen\n",
      "                 wodighen der getuigen en van mij\n",
      "       en mede ondergetekende getuigen, overge\n",
      "                 bij zijn der getuigen aan\n",
      "                te sesen, als getuigen\n",
      "          comparanten met den getuigen en\n",
      "                 te Ossen als getuigen aan mij Notaris\n",
      "          de comparanten heer getuigen ne\n",
      "                     tenoemen getuigen\n",
      "                 te Assen als getuigen even als de\n",
      "           comparanten met de getuigen en mij\n",
      "               der inlenoemen getuigen\n",
      "                te Arsen, als getuigen, even als de\n",
      "           comparanten met de getuigen en mij\n",
      "   menen mede ondergeteekende getuigen, overge\n",
      "                 bij zijn der getuigen\n",
      "                    Assen als getuigen aan mij Notaristeekend\n",
      "                 Een hebbende getuigen nevens mijotaris deze\n",
      "                              getuigen\n",
      "                              getuigen\n",
      "                   te Ase als getuigen, onenals de comparanten\n",
      "           compmranten met de getuigen en mij\n",
      "                te Arsen, als getuigen even als de\n",
      "           comparanten met de getuigen en mij\n",
      "      en mede ondergeteekende getuigen\n",
      "                 te Assen als getuigen even als\n",
      "           comparanten met de getuigen ne\n",
      "                        nemen getuigen\n",
      "                te Arson, ale getuigen even als den\n",
      "           comparanten met de getuigen en mij\n",
      "                        kende getuigen\n",
      "                te Assen, als getuigen ennals de comparanten\n",
      "          comparanten mets de getuigen ne\n",
      "                 te Aesem als getuigen\n",
      "             companden met de getuigen en mij\n",
      "          gemeente Molden als getuigen\n",
      "                 ter genoemde getuigen\n",
      "tegenwoordigheid den genoemde getuigen, welke\n",
      "                              getuigen ovend de comparant\n",
      "              de erflaten, de getuigen nevens mij nota\n",
      "               dien verzochte getuigen verschenen\n",
      "           genwoordigheid der getuigen verklaard heeft\n",
      "     woordigheid der genoemde getuigen\n",
      " tegenwoordighid der genoemde getuigen wel\n",
      "                           ke getuigen even als de\n",
      "     hebbende erflaatster, de getuigen en mij Notaris\n",
      "   woordigheid den natenoemen getuigen\n",
      "           comparanten met de getuigen en my\n",
      "                 na te noemen getuigen\n",
      "                te Assen, als getuigen even als de\n",
      "           comparanten met de getuigen ne\n",
      "                          men getuigen\n",
      "                te Arsen, als getuigen, evenae de van\n",
      "          comparanten met den getuigen en mij\n",
      "      en mede oudergtentiende getuigen\n",
      "                te Assen, als getuigen even als de\n",
      "           comparanten met de getuigen nevens\n",
      "                 na te noemen getuigen\n",
      "                    issen als getuigen enn als de\n",
      "           comparanten met de getuigen ne\n",
      "                        nende getuigen\n",
      "                          den getuigen, evenal de comparanten\n",
      "                te Assen, als getuigen evenal\n",
      "           comparanten met de getuigen in\n",
      "                              getuigen in horden var\n",
      "            deskundryen en de getuigen met mij notaris\n",
      "                              getuigen\n",
      "               te Vissen, als getuigen enen als de\n",
      "           comparanten met de getuigen nevens\n",
      "                              getuigen\n",
      "                          als getuigen even als de\n",
      "           compuranten met de getuigen\n",
      "         Hmaarlo wonende, als getuigen, even als de\n",
      "            destuundige en de getuigen in handen van\n",
      "     woordigheid der genoemde getuigen. Emwedillike na\n",
      "                   kundige de getuigen en mij Notaaris\n",
      "                          men getuigen\n",
      "           van den natinoemen getuigen, verschenen\n",
      "                 te Adten als getuigen\n",
      "           comparanten met de getuigen nevens mij\n",
      "                              getuigen, mij notaris bekend\n",
      "      dezen door conpuranten, getuigen\n",
      "                     tenoemen getuigen\n",
      "tegenwoordigheid den natenoemen getuigen\n",
      "                   te iksen a getuigen een\n",
      "          coomparanten met de getuigen en mij\n",
      "                          als getuigen, ennas de corpanaten\n",
      "                        nemen getuigen\n",
      "                  heid van de getuigen en mij notaris\n",
      "                 te Asen, als getuigen, even als de\n",
      "                       met de getuigen en mij notaris\n",
      "               te Uissen, als getuigen even als de\n",
      "        digken den notenoemen getuigen\n",
      "                 te Aesom als getuigen, evenan de\n",
      "                           de getuigen en mij notaris\n",
      "                          als getuigen, enmae de comymanten\n",
      " tegenwoordrgten den genoemde getuigen\n",
      "          den deskundigin, de getuigen en mij\n",
      "        en nde omwegeteekende getuigen, over\n",
      "                in bijzyn der getuigen\n",
      "                          als getuigen even als de\n",
      "                              getuigen nevens mij notaris\n",
      "                           de getuigen welke getuigen enen als de\n",
      "             de Comparante de getuigen nevens mij Notaris\n",
      "         tegenwoordigheid der getuigen en van mij\n",
      "                          als getuigen even als de\n",
      "             comparant en der getuigen in\n",
      "tegenwoordighiids der genoemde getuigen\n",
      "           comparanten, en de getuigen muts mij Notaris\n",
      "                te assen, als getuigen verschenen\n",
      "  tegenwoordiging vergenoemde getuigen\n",
      "tegenwoordigheid der genoemde getuigen\n",
      "                        welke getuigen even als de\n",
      "             commarant met de getuigen nevens\n",
      "                 bij zijn der getuigen aan\n",
      "                te Ussen, als getuigen aan mij Notaris\n",
      "                  enhebben de getuigen nums mij Notaris\n",
      "                 na te noemen getuigen, overge\n",
      "                 te Assen als getuigen versekenen\n",
      "                     heid der getuigen verlaard ncht, gelijkdd\n",
      "           hieds der denwinde getuigen\n",
      "tegenwoordigheid der genoemde getuigen welke\n",
      "                              getuigen evn als de\n",
      "            comparantg met de getuigen nevens\n",
      "                  note en den getuigen in honden van\n",
      "     gemeente Artenbenden als getuigen ennch de\n",
      "           comparanten met de getuigen en mij\n",
      "                te Arten, als getuigen eend\n",
      "                              getuigen, overgegaan tot den\n",
      "                in bijzyn der getuigen\n",
      "                 en hebben de getuigen nuem mij Notaris\n",
      "                 bij zijn der getuigen van\n",
      "                te Assen, als getuigen\n",
      "                 Een hebbende getuigen nevens mij Notaris\n",
      "               in bijzijn der getuigen\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "                 te assen als getuigen\n",
      "                Een hubben de getuigen nevens mij Notaris\n",
      "        en mede ondergetekene getuigen, overgegaan tot\n",
      "                  bn zijn der getuigen\n",
      "        wonende telessen, als getuigen aan mij\n",
      "                 en heblen de getuigen nuens mij Notaris\n",
      "            van de natenoemen getuigen\n",
      "             en de natenoemen getuigen voor\n",
      "                 te Assen aak getuigen, oere te om\n",
      "            derkundigen en de getuigen en mij notaris\n",
      "                              getuigen\n",
      "                 te Assen als getuigen ver\n",
      "                 dighiids der getuigen heeft aangeboden een\n",
      "                    en van de getuigen\n",
      "                        welke getuigen venals de comparant\n",
      "             Comparant met de getuigen\n",
      "                te Ussen, als getuigen verscheven\n",
      "            heid der genoemde getuigen\n",
      "  tegenwoerdigne der genoemde getuigen wel\n",
      "                           de getuigen evenls de comparant\n",
      "             comparant met de getuigen nevens\n",
      "                te Assen, als getuigen\n",
      "                     heid der getuigen veraard heeft, gelijkch\n",
      "                     genoemde getuigen\n",
      "tegenwoordghheiid der genoemde getuigen, welke\n",
      "                              getuigen even als de\n",
      "            couparante met de getuigen neven\n",
      "                       noemen getuigen, compareerde\n",
      "          der twee natenoemen getuigen, aan\n",
      "      tegenwoordigheid van de getuigen\n",
      "            genwoodigheid der getuigen, van gelezen en\n",
      "                     heid der getuigen aan den comparant\n",
      "              twee nagenoemen getuigen\n",
      "                te Assen, als getuigen, aan den notaaris\n",
      "              erflater met de getuigen en den nota\n",
      "                te Assen, als getuigen evenald\n",
      "                              getuigen nevud mij Notaris\n",
      "      en wede ondergeteekende getuigen, overgegaan\n",
      "               in bijzijn der getuigen\n",
      "                  te Arsen an getuigen enne\n",
      "          teskundigen, met de getuigen en mij notars\n",
      "                     te nemen getuigen\n",
      "               dergeteekeende getuigen, overgegaan tot den\n",
      "               in bijzijn der getuigen\n",
      "                 te Vssen als getuigen evenal\n",
      "                ten hubben de getuigen nevens mij Notarris\n",
      "                te Arten, als getuigen, nmals de o\n",
      "            worpunnten met de getuigen en mij\n",
      "         noemen, mij bekenden getuigen\n",
      "                 te Assen als getuigen, verschenen\n",
      "      in tegenwoordigheid der getuigen\n",
      "                     genoemde getuigen\n",
      "     woordigheid der genoemde getuigen, welke getuigen even\n",
      "            Comparante met de getuigen, revens mij\n",
      "                          als getuigen\n",
      "           comparanten met de getuigen en my\n",
      "      in tegenwoordigheid der getuigen verklaard heeft ge\n",
      "                              getuigen\n",
      "     woordigheid der genoemde getuigen, welke getuigen, even\n",
      "             comparant met de getuigen nevens mij Notaris\n",
      "                              getuigen\n",
      "                 te Assen als getuigen aan mij No\n",
      "                 Een hellende getuigen nevens mij Noturis\n",
      "          coorpmranten met de getuigen en mij\n",
      "                     teekende getuigen overgegaan tot den\n",
      "                          als getuigen, verschenen\n",
      "                     genoemde getuigen\n",
      "                              getuigen even als den\n",
      "                En hebben den getuigen met mij notaris\n",
      "genwoordigkeid den natenoemen getuigen\n",
      "                 te deten als getuigen ward de won\n",
      "                              getuigen\n",
      "           comparanten met de getuigen in\n",
      "                  te Asen als getuigen even\n",
      "          comparanten mits de getuigen\n",
      "      en mede ondergeteekende getuigen\n",
      "                              getuigen venenen\n",
      "          comparanten met den getuigen en mij\n",
      "   woordigheid den natenoemen getuigen\n",
      "    woordigheid den natenenen getuigen\n",
      "           comparanten met de getuigen en\n",
      "                              getuigen\n",
      "      in tegenwoordigheid der getuigen en\n",
      "                   geteekende getuigen, overgegaan tot den\n",
      "                in znzijn der getuigen\n",
      "                 te Assen als getuigen evenal\n",
      "           comparanten met de getuigen\n",
      "               te Zessen, als getuigen aan\n",
      "                 En hebben de getuigen nevens mij Notaris\n",
      "               onderdekelende getuigen overgegaan tot den\n",
      "                te Assen, als getuigen\n",
      "                ren heeben de getuigen nvens mij otaris\n",
      "    en mede onderegeteekeende getuigen, overgegaan\n",
      "                 bij zijn den getuigen\n",
      "                Een hebben de getuigen evens mij Notaris\n",
      "                te Aiten, als getuigen, versitenen\n",
      "             den den genoemde getuigen, welke\n",
      "                              getuigen evendn de comparant\n",
      "              compuunt met de getuigen en mij\n",
      "                te Assen, als getuigen\n",
      "                  enhebben de getuigen nevens mij Notaris\n",
      "                           de getuigen veerschenen\n",
      "                          der getuigen verklaard heeft, gelijk\n",
      "                 der genoemde getuigen\n",
      "                     genoemde getuigen, welke getuigen en en als\n",
      "                  nale noemen getuigen\n",
      "                 bij zijn der getuigen\n",
      "                          als getuigen evenald de Comparanten\n",
      "           Comparanten met de getuigen en my Notaris\n",
      "                       noemen getuigen\n",
      "                Een hebben de getuigen nevens mij Notaris\n",
      "               ondergeteeende getuigen, overgegaan te voortzed\n",
      "                te Assen, als getuigen aan mij dota\n",
      "                Een hedeen de getuigen nuens mij Notaris\n",
      "                 na te noemen getuigen\n",
      "            compmanten met de getuigen en\n",
      "                  te Asom, ak getuigen\n",
      "              ommanten met de getuigen en my\n",
      "     en medle ondergeteekende getuigen\n",
      "                 te Assen als getuigen enen als de\n",
      "            comparante met de getuigen nevens\n",
      "                 na te neemen getuigen\n",
      "                te Assen, als getuigen even als de\n",
      "              kambarto met de getuigen\n",
      "                       tiende getuigen\n",
      "                te Assen, als getuigen\n",
      "             eeemeijn mits de getuigen\n",
      "                 na te noemen getuigen\n",
      "                 te seten als getuigen, enena de conyn\n",
      "                       tiende getuigen\n",
      "               te Aissen, als getuigen evmel\n",
      "           comparanten met de getuigen ne\n",
      "tegenwoordigheid den natenoemen getuigen, mij\n",
      "                          den getuigen, in honde van\n",
      "                 te Asen, als getuigen\n",
      " genwoordighen der natenoemen getuigen, mij brin\n",
      "                ranten en den getuigen, in handen van\n",
      "                  te Aopon al getuigen enen a de\n",
      "           comparanten met de getuigen en mij notaris\n",
      "                 na te noemen getuigen\n",
      "      in tegenwoordighiid der getuigen en\n",
      "           comparenten met de getuigen\n",
      "                              getuigen\n",
      "                te Eessen als getuigen en en als\n",
      "                zwiers met de getuigen nevens\n",
      "                          men getuigen, overde gaan tot\n",
      "                 bij zijn der getuigen aan de\n",
      "                 te Assom als getuigen enn\n",
      "           comparanten met de getuigen en mij\n",
      "                te Assen, als getuigen\n",
      "                Een belden de getuigen nevens mij daturis\n",
      "                    natenemen getuigen\n",
      "             comparant met de getuigen in\n",
      "                 na te noemen getuigen\n",
      "                 te Assen als getuigen even\n",
      "                              getuigen\n",
      "                 te Assn, als getuigen ennah de comparanten\n",
      "          comparanten met den getuigen en mij notaris\n",
      "                  n te noemen getuigen\n",
      "                te Assen, als getuigen over\n",
      "           comparanten met de getuigen neem\n",
      "                 te Assen als getuigen van mij\n",
      "                 en herlen de getuigen nevms mij Notaris\n",
      "           comparanten met de getuigen ne\n",
      "         mede ondergeteekende getuigen, overgegaan\n",
      "               in bijzijn der getuigen\n",
      "         den beide natenoemen getuigen\n",
      "                te Arsen, als getuigen, evende den conparan\n",
      "            losthebben met de getuigen\n",
      "        den beiden natenoemen getuigen\n",
      "               te Arsenn, als getuigen, evenals den cronparenten\n",
      "             mithelben met de getuigen\n",
      "                      tiuende getuigen\n",
      "           comparanten met de getuigen nu\n",
      "                              getuigen\n",
      "                te Ussen, als getuigen even als de\n",
      "                 te Asen, als getuigen\n",
      "          coomparanten met de getuigen en\n",
      "                              getuigen\n",
      "                 na te noemen getuigen\n",
      "                  te Asem als getuigen\n",
      "           comparanten met de getuigen en\n",
      "                 te Assen als getuigen even als de\n",
      "                           de getuigen en mij Notaris\n",
      "                 te Adsen, al getuigen, evenale de coomparenten\n",
      "          comparanten met den getuigen en mij\n",
      "                           as getuigen, evn de coonpuranten\n",
      "            loithebben met de getuigen en mij Nota\n",
      "                 na te noemen getuigen\n",
      "                te Assen, als getuigen evenals de\n",
      "           comparanten met de getuigen\n",
      "           comparanten met de getuigen\n",
      "                 na te noemen getuigen\n",
      "                te Assen, als getuigen\n",
      "                          men getuigen\n",
      "          comparanten, met de getuigen en mij\n",
      "      en mede ondergeteekende getuigen over\n",
      "               in bijzijn der getuigen\n",
      "                Een hublem de getuigen neums mij Notaris\n",
      "                 na te noemen getuigen\n",
      "                          als getuigen even als de\n",
      "           comparanten met de getuigen nevens\n",
      "                 nn te noemen getuigen\n",
      "                 te Ussen als getuigen even als de\n",
      "           commurenten met de getuigen ne\n",
      "                 na te noemen getuigen\n",
      "                voogen en der getuigen, in handen\n",
      "                te assen, als getuigen evenals\n",
      "           comparanten met de getuigen ne\n",
      "                 na te noemen getuigen\n",
      "                          der getuigen en van mij\n",
      "           comparanten met de getuigen nevens\n",
      "                 na te noemen getuigen\n",
      "                           de getuigen, overgegaan tot den\n",
      "               in bijzijn der getuigen\n",
      "                te Vssen, als getuigen even als de\n",
      "           comparanten met de getuigen\n",
      "                te Assen, als getuigen aan mij Notaris\n",
      "                 Een heblende getuigen nevens mij Notaris\n",
      "                              getuigen\n",
      "           comparanten met de getuigen en mij\n",
      "                              getuigen\n",
      "            te Asenbeiden als getuigen\n",
      "            oopoanten met den getuigen en my\n",
      "                    natnoemen getuigen reinkenen\n",
      "                      ken den getuigen heeft ientland, gelijk\n",
      "                 te steen als getuigen\n",
      "                              getuigen even al de\n",
      "          compraanten met den getuigen en\n",
      "                te Assen, als getuigen versche\n",
      " tegenwoordiging van genoemde getuigen welke\n",
      "                              getuigen evendlo de comparante\n",
      "           erplaatster met de getuigen nevens mi\n"
     ]
    }
   ],
   "source": [
    "for match in text_helper.find_term_in_context('getuigen', reader):\n",
    "    print(match['context'])\n",
    "\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "id": "9f87bd9a",
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "honderd                 1244\n",
      "Achttienhonderd           86\n",
      "Negentienhonderd          82\n",
      "tienhonderd               50\n",
      "negentienhonderd          47\n",
      "achttienhonderd           23\n",
      "honder                    22\n",
      "zeshonderd                17\n",
      "vierhonderd               14\n",
      "Achthonderd                8\n"
     ]
    }
   ],
   "source": [
    "match_freq = Counter()\n",
    "\n",
    "for match in text_helper.find_term_in_context('*honder*', reader):\n",
    "    match_freq.update([match['term_match']])\n",
    "\n",
    "for match, freq in match_freq.most_common(10):\n",
    "    if len(match) < 6:\n",
    "        continue\n",
    "    print(f\"{match: <20}{freq: >8}\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ffb7e98b",
   "metadata": {},
   "outputs": [],
   "source": []
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "id": "ee122c09",
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.9"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}