ped_reader_nb.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# PED Reader Notebook"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "This notebook supports the analysis of MT and MTPE projects. It provides the relevant Python code as well as notes for additional context to new users. The notebook takes JSON format data generated by the [Woerdle-zehla](https://github.com/SeeligA/woerdle-zehla \"Measuring Post-Edit density for Studio files and Across LS exports\") app as inputs and creates visualizations and post-processed tables as outputs.\n",
    "\n",
    "**Prerequisites:**\n",
    "* Previous knowledge of *Python* is not strictly required, but certainly helpful.\n",
    "* If you know your way around the *commandline* and different flavours of *Regular Expressions* you should be fine. \n",
    "\n",
    "First, let's import the necessary scripts and objects from our project directory."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 1,
   "metadata": {},
   "outputs": [],
   "source": [
    "# The following 5 lines are for the creator of this notebook. Please ignore.\n",
    "#%load_ext autoreload\n",
    "#%autoreload 2\n",
    "#import logging\n",
    "#logger = logging.getLogger()''\n",
    "#logger.setLevel(logging.INFO)\n",
    "\n",
    "from source.table import create_df, build_query, filter_items, save_to_excel\n",
    "from source.calculation import pe_density\n",
    "from source.utils import plot, obj_to_dict, dict_to_obj, unzip_sample\n",
    "from source.subs import PreprocSub\n",
    "from source.entries import SearchMTEntry, SearchSourceEntry, ToggleCaseEntry\n",
    "from source.controls import MyFilterWidget\n",
    "\n",
    "from ipywidgets import interact"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 1. Creating a dataset\n",
    "First, we will create a table by iterating over the JSON files contained in the `data` directory. The table columns will be populated with items at the root level (\"Relation\", \"Project\" \"Document\", \"s_lid\", \"t_lid\") as well as the segment scores and string data at the ped_details level. We can then use any of the root-level items to create subsets using a custom query expression.\n",
    "\n",
    "**Note**\n",
    "\n",
    "You can also use your own CSV data by providing the folder to your CSV file(s): \n",
    "* Uncomment the following line and then enter the path to your data when prompted. `directory = input('Path to input file(s): ')`\n",
    "* Make sure that rows are indexed and to include the following column headers:\n",
    "\n",
    "<img src=\"out\\table_columns.png\" alt=\"Columns headers\" width=\"800\" align=\"center\"/>\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 2,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Sample extracted here: data\n",
      "              score\n",
      "count  11994.000000\n",
      "mean   0.372192    \n",
      "std    0.176878    \n",
      "min    0.000000    \n",
      "25%    0.244898    \n",
      "50%    0.353403    \n",
      "75%    0.481781    \n",
      "max    1.000000    \n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Project</th>\n",
       "      <th>Relation</th>\n",
       "      <th>Document</th>\n",
       "      <th>s_lid</th>\n",
       "      <th>t_lid</th>\n",
       "      <th>score</th>\n",
       "      <th>source</th>\n",
       "      <th>target</th>\n",
       "      <th>mt</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>11989</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0021.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.478528</td>\n",
       "      <td>Of the remaining 122 infants, 61 were kept at the intensive care units of public hospitals, and 61 were transferred to a private unit.</td>\n",
       "      <td>De los 122 niños incluidos, 61 quedaron en la unidad del hospital público en que nacieron y 61 fueron referidos a unidades privadas.</td>\n",
       "      <td>De los 122 lactantes restantes, 61 se mantuvieron en las unidades de cuidados intensivos de los hospitales públicos, y 61 fueron transferidos a una unidad privada.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>11990</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0021.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.528455</td>\n",
       "      <td>The infants who were transferred presented lower gestational age and increased neonatal depression.</td>\n",
       "      <td>Los atendidos en el sector privado resultaron más prematuros y con mayor frecuencia de depresión neonatal.</td>\n",
       "      <td>Los recién nacidos que fueron transferidos presentaron una edad gestacional más baja y un aumento de la depresión neonatal.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>11991</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0021.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.552870</td>\n",
       "      <td>However, mortality among infants treated at intensive care units of public hospitals was twice as high (Hazard Ratio 1.8; 95%CI 1.1- 3.4; P=0.04), especially in infants who weighed less than 1,000g (Hazard Ratio 2.4; 95%CI 1.1-5.5; P=0.04).</td>\n",
       "      <td>Sin embargo, la mortalidad en el sector público fue casi dos veces mayor (Hazard Ratio 1.8, IC 95% 1.1-3.4, p=0,04), fundamentalmente en los menores de 1000 gramos (Hazard Ratio 2.4, IC 95% 1.1-5.5, p=0,04).</td>\n",
       "      <td>Sin embargo, la mortalidad entre los recién nacidos tratados en las unidades de cuidados intensivos de los hospitales públicos fue dos veces mayor (cociente de riesgos 1,8; IC del 95%: 1,1 a 3,4; p = 0,04), especialmente en los recién nacidos que pesaban menos de 1.000 g (cociente de riesgos 2,4; IC del 95%: 1,1 a 5,5; p = 0,04).</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>11992</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0021.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.397906</td>\n",
       "      <td>CONCLUSIONS: the health status of very low birth weight infants treated at intensive care units of public and private hospitals in Montevideo, Uruguay, was assessed.</td>\n",
       "      <td>CONCLUSIÓN: se realizó una evaluación de la atención de los niños de muy bajo peso atendidos en unidades intensivas públicas y privadas de Montevideo, Uruguay.</td>\n",
       "      <td>CONCLUSIONES: se evaluó el estado de salud de los niños de muy bajo peso al nacer tratados en las unidades de cuidados intensivos de los hospitales públicos y privados de Montevideo, Uruguay.</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>11993</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0021.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.680851</td>\n",
       "      <td>Mortality was lower, and health care was better in neonatal units of private hospitals.</td>\n",
       "      <td>Hubo menor mortalidad en los niños atendidos en el sector privado y algunas evidencias de que la calidad de atención es mejor en éste sector.</td>\n",
       "      <td>La mortalidad fue menor y la atención de salud fue mejor en las unidades neonatales de los hospitales privados.</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                     Project    Relation            Document s_lid t_lid     score                                                                                                                                                                                                                                            source                                                                                                                                                                                                           target                                                                                                                                                                                                                                                                                                                                           mt\n",
       "11989  test-gma-en2es-health  WMT_16_ped  S0021.csv.sdlxliff  EN    ES    0.478528  Of the remaining 122 infants, 61 were kept at the intensive care units of public hospitals, and 61 were transferred to a private unit.                                                                                                            De los 122 niños incluidos, 61 quedaron en la unidad del hospital público en que nacieron y 61 fueron referidos a unidades privadas.                                                                             De los 122 lactantes restantes, 61 se mantuvieron en las unidades de cuidados intensivos de los hospitales públicos, y 61 fueron transferidos a una unidad privada.                                                                                                                                                                        \n",
       "11990  test-gma-en2es-health  WMT_16_ped  S0021.csv.sdlxliff  EN    ES    0.528455  The infants who were transferred presented lower gestational age and increased neonatal depression.                                                                                                                                               Los atendidos en el sector privado resultaron más prematuros y con mayor frecuencia de depresión neonatal.                                                                                                       Los recién nacidos que fueron transferidos presentaron una edad gestacional más baja y un aumento de la depresión neonatal.                                                                                                                                                                                                                \n",
       "11991  test-gma-en2es-health  WMT_16_ped  S0021.csv.sdlxliff  EN    ES    0.552870  However, mortality among infants treated at intensive care units of public hospitals was twice as high (Hazard Ratio 1.8; 95%CI 1.1- 3.4; P=0.04), especially in infants who weighed less than 1,000g (Hazard Ratio 2.4; 95%CI 1.1-5.5; P=0.04).  Sin embargo, la mortalidad en el sector público fue casi dos veces mayor (Hazard Ratio 1.8, IC 95% 1.1-3.4, p=0,04), fundamentalmente en los menores de 1000 gramos (Hazard Ratio 2.4, IC 95% 1.1-5.5, p=0,04).  Sin embargo, la mortalidad entre los recién nacidos tratados en las unidades de cuidados intensivos de los hospitales públicos fue dos veces mayor (cociente de riesgos 1,8; IC del 95%: 1,1 a 3,4; p = 0,04), especialmente en los recién nacidos que pesaban menos de 1.000 g (cociente de riesgos 2,4; IC del 95%: 1,1 a 5,5; p = 0,04).\n",
       "11992  test-gma-en2es-health  WMT_16_ped  S0021.csv.sdlxliff  EN    ES    0.397906  CONCLUSIONS: the health status of very low birth weight infants treated at intensive care units of public and private hospitals in Montevideo, Uruguay, was assessed.                                                                             CONCLUSIÓN: se realizó una evaluación de la atención de los niños de muy bajo peso atendidos en unidades intensivas públicas y privadas de Montevideo, Uruguay.                                                  CONCLUSIONES: se evaluó el estado de salud de los niños de muy bajo peso al nacer tratados en las unidades de cuidados intensivos de los hospitales públicos y privados de Montevideo, Uruguay.                                                                                                                                            \n",
       "11993  test-gma-en2es-health  WMT_16_ped  S0021.csv.sdlxliff  EN    ES    0.680851  Mortality was lower, and health care was better in neonatal units of private hospitals.                                                                                                                                                           Hubo menor mortalidad en los niños atendidos en el sector privado y algunas evidencias de que la calidad de atención es mejor en éste sector.                                                                    La mortalidad fue menor y la atención de salud fue mejor en las unidades neonatales de los hospitales privados.                                                                                                                                                                                                                            "
      ]
     },
     "execution_count": 2,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Create table from file in data subfolder\n",
    "directory = \"data\"\n",
    "unzip_sample(directory)\n",
    "#directory = input('Path to input file(s): ')\n",
    "df = create_df(directory)\n",
    "print(df.describe())\n",
    "# Show the last 5 rows of the table\n",
    "df.tail()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "To drill down on our data, we should create a query and filter for individual attributes or items: \n",
    "* Run the cell below to open an interactive widget with various filter options. \n",
    "* By selecting and deselecting items you can create a custom query string.\n",
    "* To reset your filter settings, run the cell again.\n",
    "\n",
    "- - -\n",
    "#### Notes\n",
    "* Use Ctrl or Shift to select multiple filter values. \n",
    "* The ```score``` parameter specifies a PED range. The default range is between zero and one (inclusive).\n",
    "* If you prefer using/re-using your own Pandas query, switch to the Python tab and paste it in there."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 3,
   "metadata": {
    "scrolled": false
   },
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "610d04cef73945ce9cb591a443c09097",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "MyFilterWidget(children=(Accordion(children=(SelectMultiple(description='Relation', index=(0,), layout=Layout(…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    },
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "331f0035adf4476da181a3462972efec",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "Output()"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "w = MyFilterWidget(df)\n",
    "display(w, w.out)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Now it's time to apply the query to your data table.\n",
    "\n",
    "Note that if your query has no matches, you will receive an **AssertionError**"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 4,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "The aggregated PED for this dataset is 0.384075\n"
     ]
    },
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Project</th>\n",
       "      <th>Relation</th>\n",
       "      <th>Document</th>\n",
       "      <th>s_lid</th>\n",
       "      <th>t_lid</th>\n",
       "      <th>score</th>\n",
       "      <th>source</th>\n",
       "      <th>target</th>\n",
       "      <th>mt</th>\n",
       "      <th>virtual</th>\n",
       "      <th>max_char</th>\n",
       "      <th>lev</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>3198</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.450644</td>\n",
       "      <td>BACKGROUND AND OBJECTIVES: Some studies have reported improved quality of peribulbar block by adding hyaluronidase to the local anesthetic solution while others claimed no beneficial effect.</td>\n",
       "      <td>JUSTIFICATIVA Y OBJETIVOS: Algunos estudios han relatado mejoria de la calidad del bloqueo peribulbar con el uso de hialuronidasa, en cuanto otros han concluido por la ausencia del efecto.</td>\n",
       "      <td>ANTECEDENTES Y OBJETIVOS: Algunos estudios han informado una mejoría en la calidad del bloqueo peribulbar mediante la adición de hialuronidasa a la solución anestésica local, mientras que otros no afirmaron ningún efecto beneficioso.</td>\n",
       "      <td>0.450644</td>\n",
       "      <td>233</td>\n",
       "      <td>105.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3199</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.011765</td>\n",
       "      <td>This study aimed at investigating the influence of hyaluronidase on intraocular pressure (IOP) and the quality of peribulbar block with 1% ropivacaine.</td>\n",
       "      <td>El objetivo de este estudio fue investigar la influencia de la hialuronidasa sobre la presión intra-ocular (PIO) y la calidad del bloqueo peribulbar con ropivacaína a 1%.</td>\n",
       "      <td>El objetivo de este estudio fue investigar la influencia de la hialuronidasa sobre la presión intraocular (PIO) y la calidad del bloqueo peribulbar con ropivacaína al 1%.</td>\n",
       "      <td>0.011765</td>\n",
       "      <td>170</td>\n",
       "      <td>2.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3200</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.364706</td>\n",
       "      <td>CONCLUSIONS: When 1% ropivacaine supplemented with 50 IU.ml-1 hyaluronidase is used in peribulbar block, IOP values are lower and blockade quality is significantly better than when 1% plain ropivacaine is used.</td>\n",
       "      <td>CONCLUSIONES: Cuando se usa solución de ropivacaína a 1% adicionada de hialuronidasa 50 UI.ml-1 en bloqueo peribulbar, los valores de la PIO son menores y la calidad del bloqueo es mejor de que cuando se utiliza ropivacaína a 1% sin hialuronidasa.</td>\n",
       "      <td>CONCLUSIONES: Cuando se utiliza ropivacaína al 1% complementada con 50 IU.ml-1 hialuronidasa en el bloqueo peribulbar, los valores de la PIO son más bajos y la calidad del bloqueo es significativamente mejor que cuando se utiliza ropivacaína simple al 1%.</td>\n",
       "      <td>0.364706</td>\n",
       "      <td>255</td>\n",
       "      <td>93.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3201</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.245902</td>\n",
       "      <td>Its action mechanism is broadly discussed based on results of experimental studies and clinical evidences.</td>\n",
       "      <td>Su mecanismo de acción es bastante discutido, con base en resultados experimentales y en evidencias clínicas.</td>\n",
       "      <td>Su mecanismo de acción es ampliamente discutido en base a los resultados de estudios experimentales y evidencias clínicas.</td>\n",
       "      <td>0.245902</td>\n",
       "      <td>122</td>\n",
       "      <td>30.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3202</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.210526</td>\n",
       "      <td>In vitro and in vivo preparations followed the techniques of Bulbring and Leeuwin and Wolters, respectively.</td>\n",
       "      <td>Las preparaciones in vitro e in vivo fueron montadas de acuerdo con las técnicas de Bulbring y de Leeuwin y Wolters, respectivamente.</td>\n",
       "      <td>Las preparaciones in vitro e in vivo siguieron las técnicas de Bulbring y Leeuwin y Wolters, respectivamente.</td>\n",
       "      <td>0.210526</td>\n",
       "      <td>133</td>\n",
       "      <td>28.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                    Project    Relation            Document s_lid t_lid     score                                                                                                                                                                                                              source                                                                                                                                                                                                                                                   target                                                                                                                                                                                                                                                               mt   virtual  max_char    lev\n",
       "3198  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.450644  BACKGROUND AND OBJECTIVES: Some studies have reported improved quality of peribulbar block by adding hyaluronidase to the local anesthetic solution while others claimed no beneficial effect.                      JUSTIFICATIVA Y OBJETIVOS: Algunos estudios han relatado mejoria de la calidad del bloqueo peribulbar con el uso de hialuronidasa, en cuanto otros han concluido por la ausencia del efecto.                                                             ANTECEDENTES Y OBJETIVOS: Algunos estudios han informado una mejoría en la calidad del bloqueo peribulbar mediante la adición de hialuronidasa a la solución anestésica local, mientras que otros no afirmaron ningún efecto beneficioso.                        0.450644  233       105.0\n",
       "3199  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.011765  This study aimed at investigating the influence of hyaluronidase on intraocular pressure (IOP) and the quality of peribulbar block with 1% ropivacaine.                                                             El objetivo de este estudio fue investigar la influencia de la hialuronidasa sobre la presión intra-ocular (PIO) y la calidad del bloqueo peribulbar con ropivacaína a 1%.                                                                               El objetivo de este estudio fue investigar la influencia de la hialuronidasa sobre la presión intraocular (PIO) y la calidad del bloqueo peribulbar con ropivacaína al 1%.                                                                                       0.011765  170       2.0  \n",
       "3200  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.364706  CONCLUSIONS: When 1% ropivacaine supplemented with 50 IU.ml-1 hyaluronidase is used in peribulbar block, IOP values are lower and blockade quality is significantly better than when 1% plain ropivacaine is used.  CONCLUSIONES: Cuando se usa solución de ropivacaína a 1% adicionada de hialuronidasa 50 UI.ml-1 en bloqueo peribulbar, los valores de la PIO son menores y la calidad del bloqueo es mejor de que cuando se utiliza ropivacaína a 1% sin hialuronidasa.  CONCLUSIONES: Cuando se utiliza ropivacaína al 1% complementada con 50 IU.ml-1 hialuronidasa en el bloqueo peribulbar, los valores de la PIO son más bajos y la calidad del bloqueo es significativamente mejor que cuando se utiliza ropivacaína simple al 1%.  0.364706  255       93.0 \n",
       "3201  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.245902  Its action mechanism is broadly discussed based on results of experimental studies and clinical evidences.                                                                                                          Su mecanismo de acción es bastante discutido, con base en resultados experimentales y en evidencias clínicas.                                                                                                                                            Su mecanismo de acción es ampliamente discutido en base a los resultados de estudios experimentales y evidencias clínicas.                                                                                                                                       0.245902  122       30.0 \n",
       "3202  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.210526  In vitro and in vivo preparations followed the techniques of Bulbring and Leeuwin and Wolters, respectively.                                                                                                        Las preparaciones in vitro e in vivo fueron montadas de acuerdo con las técnicas de Bulbring y de Leeuwin y Wolters, respectivamente.                                                                                                                    Las preparaciones in vitro e in vivo siguieron las técnicas de Bulbring y Leeuwin y Wolters, respectivamente.                                                                                                                                                    0.210526  133       28.0 "
      ]
     },
     "execution_count": 4,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Note that if your query has no matches, you will receive an AssertionError\n",
    "data = w.run_query()\n",
    "# Calculate PED scores at a dataset-level and at a segment level and\n",
    "# write the latter to a new column called \"virtual\". \n",
    "# At this stage, the new column should be identical to the \"score\" column.\n",
    "ped, data = pe_density(data)\n",
    "print('The aggregated PED for this dataset is {:f}'.format(ped))\n",
    "data.head()"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 2. Plotting post-edit density data\n",
    "Now that we have prepared a view of our data, we can plot the distribution of post-edit density scores. Depending on our analysis question we might be interested in the total number of segments per bin or a normalized view of each bin. The KDE flag allows us to control the scaling. KDE stands for [Kernel Density Estimation](https://en.wikipedia.org/wiki/Kernel_density_estimation \"Kernel Density Estimation on Wikipedia\"), a kind of rolling average plotted as a non-linear curve.\n",
    "\n",
    "<img src=\"out\\WMT16_sample.png\" alt=\"Sample plot\" width=\"400\" align=\"right\"/>\n",
    "\n",
    "\n",
    "```\n",
    "plot(data, cat_column=\"t_lid\", \n",
    "     kde=True, \n",
    "     ped=ped, \n",
    "     save=\"out\\\\sample.png\",\n",
    "     linewidth=4 \n",
    "     )\n",
    "```\n",
    "\n",
    "\n",
    "Try answering these questions:\n",
    "* How does the distribution change as we specify different categorical values?\n",
    "* Are there any features that seem to correlate with the post-edit density distribution?\n",
    "* Do you think your dataset from above fits your question? Are there any other filter combinations you could try out?\n",
    "\n",
    "\n",
    "Once you are satisfied with the items represented in your dataset, we can move on to the next step: MT quality evaluation.\n"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 5,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "application/vnd.jupyter.widget-view+json": {
       "model_id": "991aaab3701d433e84307b978ed07e29",
       "version_major": 2,
       "version_minor": 0
      },
      "text/plain": [
       "interactive(children=(Dropdown(description='cat_column', options=('t_lid', 'Document', 'Relation', 'Project'),…"
      ]
     },
     "metadata": {},
     "output_type": "display_data"
    }
   ],
   "source": [
    "# TODO: Plot the post-edit density data using different columns names as categorical values.\n",
    "# This works best with less than 10 categories per column. \n",
    "# Try plotting for source and target languages, relation or project IDs.\n",
    "@interact\n",
    "def plot_widget(cat_column=[\"t_lid\", \"Document\", \"Relation\", \"Project\"], save=[False, \"PED_by_<cat_column>.png\"], kde=True, linewidth=(0,10)):  \n",
    "    if save:\n",
    "        save = save.replace(\"<cat_column>\", \"{}\").format(cat_column)\n",
    "        print(f\"File saved here: {save}\")\n",
    "    plot(data, cat_column=cat_column, \n",
    "         kde=kde, \n",
    "         ped=ped, \n",
    "         save=save,\n",
    "         linewidth=linewidth,\n",
    "         fontsize=20\n",
    "         )"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 3. Quality evaluation\n",
    "Quality evaluation (QE) is a two-step process to uncover error patterns in translated output. This is commonly done in a spreadsheet, but some CAT environments such as Trados Studio offer [integrations as well](https://www.youtube.com/watch?v=a2wid7Uxy54 \"How to use Translation Quality Assessment in SDL Trados Studio 2019\").\n",
    "\n",
    "In a first step, we evaluate MT output against the source and a reference translation created by a linguist. In order to quantize a potentially infinite number of errors, we map our findings against a fixed-size **error typology**. In addition to that, we categorize errors depending on severity and project requirements. An important reference point used in translation services are the [Multidimensional Quality Metrics (MQM)](http://www.qt21.eu/mqm-definition/definition-2015-12-30.html \"Multidimensional Quality Metrics (MQM) Definition\") as well as MQM subsets such as the Dynamic Quality Framework (DQF).\n",
    "\n",
    "- - -\n",
    "\n",
    "Note: QEs are also used to evaluate the quality of a particular delivery. In this case, errors are counted, weighted and summed to produce an **error score**. This score is then divided by the word count to produce the **error rate**, which determines whether the delivery has __passed or failed__ the quality evaluation. While this type of QE often includes a summary to highlights features of the text and appreciates positive and negative aspects, analysing errors for structural patterns is beyond its scope.\n",
    "\n",
    "- - -\n",
    "\n",
    "In a second step, we look at the annotations from a bird's-eye view and try to determine common patterns and sources for errors. **Visualizations** can prove useful here, including *word clouds* and *bar charts* for types of error or *pie charts* for severity. If deemed practical, this can be followed up by another round of annotations and the cycle repeats.\n",
    "\n",
    "For our purpose, quality evaluations result in two types of deliverables:\n",
    "1. A report on the general quality detailing areas of focus and potential improvement strategies.\n",
    "2. A list of resources, including *terminology items*, *replacement patterns*, *automated QA checks*, *additional instructions*, etc.\n",
    "\n",
    "#### QUESTION:\n",
    "\n",
    "Based on what has been said about the purpose of QE, how would you adapt the tools available to us to achieve these aims?"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 6,
   "metadata": {},
   "outputs": [],
   "source": [
    "# Uncomment the next line to save your data to your working directory.\n",
    "#save_to_excel(data, \"out\\\\out.xlsx\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 4. Post-processing replacement patterns\n",
    "Moving from analysis to action. There are three basic approaches to improving MT output:\n",
    "* Engine re-training: This requires __access to the model parameters__.\n",
    "* Pre-processing: This involves replacing or annotating tokens in the input __before applying an engine__.\n",
    "* Post-processing: This involves __replacing tokens in the output__ based on search expressions or rules.\n",
    "\n",
    "Post-processing can be combined with pre-processing or used on its own. In the following section we will focus on the latter approach.\n",
    "\n",
    "### Creating rules\n",
    "First, we will create a number a rules to find and replace incorrect terms. In the [entries](source/entries.py) module, there are three different objects we can choose from:\n",
    "- SearchMTEntry -- Search and replace on the MT output only\n",
    "- SearchSourceEntry -- Filter segments based on a source expression. Then perform search and replace on the MT output.\n",
    "- ToggleCaseEntry -- Filter segments based on expected case and length of source. Then apply the case to the target.\n",
    "\n",
    "An Entry object is characterized by its `search` and `replace` attributes. In addition to this, `SearchSourceEntry` and `ToggleCaseEntry` objects also feature a `source` attribute, which acts like a pre-filter for source strings."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 7,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Project</th>\n",
       "      <th>Relation</th>\n",
       "      <th>Document</th>\n",
       "      <th>s_lid</th>\n",
       "      <th>t_lid</th>\n",
       "      <th>score</th>\n",
       "      <th>source</th>\n",
       "      <th>target</th>\n",
       "      <th>mt</th>\n",
       "      <th>virtual</th>\n",
       "      <th>max_char</th>\n",
       "      <th>lev</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "    <tr>\n",
       "      <td>3265</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.415842</td>\n",
       "      <td>CONTENTS: A brief description of the technique of endovascular aneurism repair, possible vantages and disadvantages of its use, as well as potential complications are discussed.</td>\n",
       "      <td>CONTENIDO: Sencilla presentación de la técnica quirúrgica para la cura de aneurismas vía endovascular, las posibles ventajas y desventajas del procedimiento, como también las complicaciones potenciales.</td>\n",
       "      <td>ÍNDICE: Se describe brevemente la técnica de reparación del aneurisma endovascular, las posibles ventajas y desventajas de su uso, así como las posibles complicaciones.</td>\n",
       "      <td>0.415842</td>\n",
       "      <td>202</td>\n",
       "      <td>84.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3271</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.225564</td>\n",
       "      <td>CONTENTS: The indications, technique, and complications of compression of the cricoid cartilage were reviewed.</td>\n",
       "      <td>CONTENIDO: Han sido revisadas las indicaciones, la técnica y las complicaciones de la maniobra de compresión del cartílago cricoides.</td>\n",
       "      <td>ÍNDICE: Se revisaron las indicaciones, la técnica y las complicaciones de la compresión del cartílago cricoides.</td>\n",
       "      <td>0.225564</td>\n",
       "      <td>133</td>\n",
       "      <td>30.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3288</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.314159</td>\n",
       "      <td>CONTENTS: All clinical, randomized studies that evaluated the effects of gabapentin on postoperative pain in humans between 2002 and 2007 for a total of 26 studies were selected.</td>\n",
       "      <td>CONTENIDO: Fueron seleccionados todos los estudios clínicos con distribución aleatoria que evaluaron el efecto de la gabapentina en el dolor postoperatorio en humanos entre 2002 y 2007.  Se encontraron 26 artículos publicados.</td>\n",
       "      <td>ÍNDICE: Se seleccionaron todos los estudios clínicos aleatorios que evaluaron los efectos de la gabapentina sobre el dolor postoperatorio en humanos entre 2002 y 2007 para un total de 26 estudios.</td>\n",
       "      <td>0.314159</td>\n",
       "      <td>226</td>\n",
       "      <td>71.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3309</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.489583</td>\n",
       "      <td>CONTENTS: This report refers to the long-known properties of cocaine.</td>\n",
       "      <td>CONTENIDO: El texto se refiere a propiedades que hace mucho tiempo se conocían sobre la cocaína.</td>\n",
       "      <td>ÍNDICE: Este informe se refiere a las propiedades largamente conocidas de la cocaína.</td>\n",
       "      <td>0.489583</td>\n",
       "      <td>96</td>\n",
       "      <td>47.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3363</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.611702</td>\n",
       "      <td>CONTENTS: Original studies in the Medline database with patients older than 18 years and published over the last six years were reviewed.</td>\n",
       "      <td>CONTENIDO: Fueron investigados trabajos en una base de datos Medline, publicados en los últimos seis años y los criterios de inclusión fueron los estudios originales en mayores de 18 años.</td>\n",
       "      <td>ÍNDICE: Se revisaron los estudios originales en la base de datos de Medline con pacientes mayores de 18 años y publicados en los últimos seis años.</td>\n",
       "      <td>0.611702</td>\n",
       "      <td>188</td>\n",
       "      <td>115.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3478</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.507282</td>\n",
       "      <td>CONTENTS: Selected anesthesiologic considerations are discussed focusing a brief review of popular herbs essentials on the development of anesthetic pharmacology and the potential drug-herb interactions between synthetic drugs used in anesthesia and the medicinal herbs used by patients in their illness and symptoms management.</td>\n",
       "      <td>CONTENIDO: Son discutidas las consideraciones anestesiológicas seleccionadas, focalizando una pequeña revisión sobre hierbas medicinales más populares que fueron esenciales en el desenvolvimiento de una farmacología anestesiológica y aún, las potenciales interacciones de plantas medicinales usadas por pacientes para tratar sus enfermedades o controlar sus síntomas con drogas sintéticas usadas en la anestesia.</td>\n",
       "      <td>ÍNDICE: Se discuten algunas consideraciones anestesiológicas seleccionadas, centrándose una breve revisión de las hierbas populares esenciales en el desarrollo de la farmacología anestésica y las posibles interacciones entre las drogas sintéticas utilizadas en la anestesia y las hierbas medicinales utilizadas por los pacientes en el tratamiento de su enfermedad y de los síntomas.</td>\n",
       "      <td>0.507282</td>\n",
       "      <td>412</td>\n",
       "      <td>209.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3488</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.184953</td>\n",
       "      <td>CONTENTS: Magnesium is an intracellular cation with multiple functions: it is a cofactor for enzymes of the glucose metabolism and those that participate in the degradation of nucleic acids, proteins, and fatty acids; it regulates the movements of transmembrane ions; and it intervenes in the activity of several enzymes.</td>\n",
       "      <td>CONTENIDO: El magnesio es un catión intracelular que posee múltiples funciones: es cofactor de enzimas del metabolismo glicídico y de enzimas de la degradación de los ácidos nucleicos, proteínas y ácidos grasos; regula el paso de los iones transmembrana e interviene en la actividad de varias enzimas.</td>\n",
       "      <td>ÍNDICE: El magnesio es un catión intracelular con múltiples funciones: es un cofactor de enzimas del metabolismo de la glucosa y de las que participan en la degradación de los ácidos nucleicos, proteínas y ácidos grasos; regula los movimientos de los iones transmembrana; e interviene en la actividad de varias enzimas.</td>\n",
       "      <td>0.184953</td>\n",
       "      <td>319</td>\n",
       "      <td>59.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3533</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.238710</td>\n",
       "      <td>CONTENTS: Some clinical and pharmacological considerations are made about thromboprophylactic drugs (cumarinics, aspirin and heparin).</td>\n",
       "      <td>CONTENIDO: Son hechas algunas consideraciones clínicas y farmacológicas sobre las drogas utilizadas en tromboprofilaxia (cumarínicos, aspirina y heparina).</td>\n",
       "      <td>ÍNDICE: Se hacen algunas consideraciones clínicas y farmacológicas sobre los fármacos tromboprofilácticos (cumarínicos, aspirina y heparina).</td>\n",
       "      <td>0.238710</td>\n",
       "      <td>155</td>\n",
       "      <td>37.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3549</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.259740</td>\n",
       "      <td>CONTENTS: A review of the main contemporary articles on the use of propofol in the presence of cardiac arrhythmias was undertaken.</td>\n",
       "      <td>CONTENIDO: Se realizó una revisión en base a los principales artículos contemporáneos que engloban el uso del propofol cuando ocurren arritmias cardíacas.</td>\n",
       "      <td>ÍNDICE: Se realizó una revisión de los principales artículos contemporáneos sobre el uso de propofol en presencia de arritmias cardíacas.</td>\n",
       "      <td>0.259740</td>\n",
       "      <td>154</td>\n",
       "      <td>40.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3590</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.238267</td>\n",
       "      <td>CONTENTS: General characteristics of CAD, as well as its physiopathogenic mechanisms, the main variables related to preoperative care of patients with CAD, and the conducts for patients with greater surgical risk are presented.</td>\n",
       "      <td>CONTENIDO: Se presentan características generales de la DAC, como también sus mecanismos fisiopatogénicos, las principales variables relacionadas con la preparación del preoperatorio de pacientes con DAC, como también conductas frente a los enfermos de mayor riesgo quirúrgico.</td>\n",
       "      <td>ÍNDICE: Se presentan las características generales de la EAC, así como sus mecanismos fisiopatogénicos, las principales variables relacionadas con la atención preoperatoria de los pacientes con EAC y las conductas para los pacientes con mayor riesgo quirúrgico.</td>\n",
       "      <td>0.238267</td>\n",
       "      <td>277</td>\n",
       "      <td>66.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3633</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.282787</td>\n",
       "      <td>CONTENTS: Physiologic respiratory changes due to aging are presented, with emphasis in pulmonary volume and capacity abnormalities, respiratory mechanics and gas exchange provided by anesthesia.</td>\n",
       "      <td>CONTENIDO: Son presentadas las alteraciones respiratorias fisiológicas del envejecimiento.  Son enfatizadas las alteraciones de volumen y capacidades pulmonares, de la mecánica respiratoria y de cambios gaseosos proporcionados por la anestesia.</td>\n",
       "      <td>ÍNDICE: Se presentan cambios respiratorios fisiológicos debidos al envejecimiento, con énfasis en las anomalías de volumen y capacidad pulmonar, la mecánica respiratoria y el intercambio gaseoso proporcionado por la anestesia.</td>\n",
       "      <td>0.282787</td>\n",
       "      <td>244</td>\n",
       "      <td>69.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>3779</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.357664</td>\n",
       "      <td>CONTENTS: The emphasis on high-quality chest compressions with adequate rate and depth allowing full recoil of the chest and with minimal interruptions is highlighted in this update.</td>\n",
       "      <td>CONTENIDO: El énfasis para la realización de las compresiones torácicas de alta calidad, con la frecuencia y la profundidad adecuadas, permitiendo el retorno total del tórax y con interrupción mínima en las compresiones, asume una posición de destaque en esta actualización.</td>\n",
       "      <td>ÍNDICE: El énfasis en las compresiones torácicas de alta calidad con una tasa y profundidad adecuadas que permitan el retroceso total del tórax y con interrupciones mínimas se destaca en esta actualización.</td>\n",
       "      <td>0.357664</td>\n",
       "      <td>274</td>\n",
       "      <td>98.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4055</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.364217</td>\n",
       "      <td>CONTENTS: There are few available studies, but they show that some subpopulations of chronic pain patients may achieve sustained analgesia with minor tolerance and low addiction potential, mainly those refractory to conventional therapy.</td>\n",
       "      <td>CONTENIDO: Los estudios disponibles aun son limitados, más demuestran que determinadas subpoblaciones de pacientes portadores de dolor crónico, pueden alcanzar analgesia importante, con poca tolerancia y bajo potencial para adición, principalmente aquellos refractarios a los esquemas terapéuticos convencionales.</td>\n",
       "      <td>ÍNDICE: Existen pocos estudios disponibles, pero muestran que algunas subpoblaciones de pacientes con dolor crónico pueden lograr una analgesia sostenida con menor tolerancia y bajo potencial de adicción, principalmente aquellos que son refractarios a la terapia convencional.</td>\n",
       "      <td>0.364217</td>\n",
       "      <td>313</td>\n",
       "      <td>114.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4437</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.265823</td>\n",
       "      <td>CONTENTS: Cardiovascular, respiratory, endocrine and metabolic changes have been frequently associated to obesity and may cause significant clinical repercussions in the perioperative period of such patients.</td>\n",
       "      <td>CONTENIDO: Disturbios cardiovasculares, respiratorios, endocrinos y metabólicos son frecuentemente asociados a la obesidad y pueden causar repercusiones de significado clínico importantes en el período peri-operatorio en estos pacientes.</td>\n",
       "      <td>ÍNDICE: Los cambios cardiovasculares, respiratorios, endocrinos y metabólicos se han asociado frecuentemente a la obesidad y pueden causar repercusiones clínicas significativas en el período perioperatorio de estos pacientes.</td>\n",
       "      <td>0.265823</td>\n",
       "      <td>237</td>\n",
       "      <td>63.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4456</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.223810</td>\n",
       "      <td>CONTENTS: The understanding of interethnic factors affecting drug response will allow anesthesiologists to prevent idiosyncratic reactions: (1) Caucasian: increased dopamine diuretic effect; prolonged apnea following succinylcholine or mivacurium; cardiac arrhythmias after halothane and catecholamines in Riley-Day syndrome; acute porphyria episodes after thiopental.</td>\n",
       "      <td>CONTENIDO: El conocimiento de factores inter-étnicos que alteran la respuesta a la droga permitirá al anestesiologista evitar reacciones idiosincrásicas: (1) Blanco caucasiano - aumento del efecto diurético de la dopamina; apnea prolongada después de succinilcolina o mivacúrio; arritmias cardíacas después del uso de halotano y catecolaminas en la síndrome de Riley-Day; ataques agudos de porfiria después de tiopental.</td>\n",
       "      <td>ÍNDICE: La comprensión de los factores interétnicos que afectan la respuesta de los medicamentos permitirá a los anestesiólogos prevenir reacciones idiosincrásicas: (1) Caucásico: aumento del efecto diurético de la dopamina; apnea prolongada después de succinilcolina o mivacurio; arritmias cardíacas después de halotano y catecolaminas en el síndrome de Riley-Day; episodios de porfiria aguda después de tiopental.</td>\n",
       "      <td>0.223810</td>\n",
       "      <td>420</td>\n",
       "      <td>94.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4507</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.373288</td>\n",
       "      <td>CONTENTS: Preoperative clinical history, factors contributing to peri and postoperative complications and the type of surgery and anesthetic technique favoring such complications are highlighted.</td>\n",
       "      <td>CONTENIDO: Están resaltados la importancia de la historia clínica en la investigación pré-operatoria, los factores que contribuyen para el aparecimiento de complicaciones en el per y en el pós-operatorio, así como el tipo de cirugía y la técnica anestésica que favorecen estas complicaciones.</td>\n",
       "      <td>ÍNDICE: Se destacan la historia clínica preoperatoria, los factores que contribuyen a las complicaciones perioperatorias y postoperatorias y el tipo de cirugía y técnica anestésica que favorece dichas complicaciones.</td>\n",
       "      <td>0.373288</td>\n",
       "      <td>292</td>\n",
       "      <td>109.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4521</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.380368</td>\n",
       "      <td>CONTENTS: In general, regional block outcomes are confirmed more by the lack of dermatome sensitivity than by miotomes motor activity.</td>\n",
       "      <td>CONTENIDO: Comúnmente el desenlace de un bloqueo regional es pesquisado más por la insensibilidad de los dermátomos de que por la actividad motora de los miótomos.</td>\n",
       "      <td>ÍNDICE: En general, los resultados del bloqueo regional se confirman más por la falta de sensibilidad del dermatoma que por la actividad motora de los miomas.</td>\n",
       "      <td>0.380368</td>\n",
       "      <td>163</td>\n",
       "      <td>62.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4539</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.388298</td>\n",
       "      <td>CONTENTS: Potential application areas are presented, in addition to clinical studies involving major hemoglobin molecules developed, their advantages and limitations.</td>\n",
       "      <td>CONTENIDO: Son presentadas las áreas potenciales de aplicación, bien como estudios clínicos envolviendo las principales moléculas de hemoglobina desarrolladas, sus ventajas y limitaciones.</td>\n",
       "      <td>ÍNDICE: Se presentan las posibles áreas de aplicación, además de los estudios clínicos en los que se han desarrollado las principales moléculas de hemoglobina, sus ventajas y limitaciones.</td>\n",
       "      <td>0.388298</td>\n",
       "      <td>188</td>\n",
       "      <td>73.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4635</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.386364</td>\n",
       "      <td>CONTENTS: There is a chain reaction as from dehydrated or dried out soda lime with very low percent volume of water.</td>\n",
       "      <td>CONTENIDO: Existe una reacción en cadena a partir de la cal sodada deshidratada o resecada con bajos volúmenes porcentuales de agua.</td>\n",
       "      <td>ÍNDICE: Se produce una reacción en cadena a partir de cal gaseosa deshidratada o desecada con un volumen de agua muy bajo.</td>\n",
       "      <td>0.386364</td>\n",
       "      <td>132</td>\n",
       "      <td>51.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4654</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.296117</td>\n",
       "      <td>CONTENTS: A technical review of rapid sequence induction of anesthesia is presented, emphasizing the rational use of hypnotics, opioids and neuromuscular blockers (NMB) to shorten the period between loss of consciousness and correct tracheal tube positioning, that is, shorten the period of highest risk for aspiration while maintaining excellent intubation conditions.</td>\n",
       "      <td>CONTENIDO: Presenta una revisión de la técnica de la inducción con secuencia rápida, enfatizando el uso racional de los hipnóticos, opioides y bloqueadores neuromusculares (BNM), para reducir el período entre la pérdida de la consciencia y el correcto posicionamiento del tubo traqueal, o sea, diminuir el período de mayor riesgo para aspiración y aún mantener excelentes condiciones de intubación traqueal.</td>\n",
       "      <td>ÍNDICE: Se presenta una revisión técnica de la inducción de la secuencia rápida de la anestesia, enfatizando el uso racional de hipnóticos, opioides y bloqueadores neuromusculares (NMB) para acortar el período entre la pérdida de conocimiento y la correcta colocación del tubo traqueal, es decir, acortar el período de mayor riesgo de aspiración, manteniendo al mismo tiempo excelentes condiciones de intubación.</td>\n",
       "      <td>0.296117</td>\n",
       "      <td>412</td>\n",
       "      <td>122.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4720</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.343173</td>\n",
       "      <td>CONTENTS: The relationship between preoperative anxiety in children and postoperative behavior changes, as well as the influence of variables such as age, temperament, previous hospital experience and pain are discussed.</td>\n",
       "      <td>CONTENIDO: El artículo aborda la ligación entre la ansiedad pre-operatoria en niños y las alteraciones de comportamiento que pueden ocurrir en el período post-operatorio, bien como la influencia de variables como edad, temperamento, experiencia hospitalar previa y dolor.</td>\n",
       "      <td>ÍNDICE: Se discute la relación entre la ansiedad preoperatoria en los niños y los cambios de comportamiento postoperatorios, así como la influencia de variables como la edad, el temperamento, la experiencia hospitalaria previa y el dolor.</td>\n",
       "      <td>0.343173</td>\n",
       "      <td>271</td>\n",
       "      <td>93.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4843</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.656442</td>\n",
       "      <td>CONTENTS: Several strategies to manage PONV are suggested in this article, but stress is given to guidelines published by Gan in 2003.</td>\n",
       "      <td>CONTENIDO: Varias son las estrategias de manoseo de NVPO sugeridas en este artículo, destacándose, sin embargo, las líneas de orientación emitidas por Gan en 2003.</td>\n",
       "      <td>ÍNDICE: En este artículo se sugieren varias estrategias para manejar las NVPO, pero se hace hincapié en las directrices publicadas por Gan en 2003.</td>\n",
       "      <td>0.656442</td>\n",
       "      <td>163</td>\n",
       "      <td>107.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4866</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.270718</td>\n",
       "      <td>CONTENTS: This article addresses cerebral palsy aspects such as etiology, classification, risk factors, pathophysiology, clinical presentation, diagnosis and therapies and, in addition to preoperative evaluation, preanesthetic medication, intra and postoperative management, postoperative analgesia and chronic pain.</td>\n",
       "      <td>CONTENIDO: El artículo aborda aspectos de la parálisis cerebral como etiología, clasificación, factores de riesgo, fisiopatología, cuadro clínico, diagnóstico, terapéuticas utilizadas bien como evaluación pre-operatoria, medicación pre-anestésica, manoseo intra y posoperatorio, analgesia posoperatoria y dolor crónico.</td>\n",
       "      <td>ÍNDICE: En este artículo se abordan aspectos de la parálisis cerebral como la etiología, la clasificación, los factores de riesgo, la fisiopatología, la presentación clínica, el diagnóstico y las terapias y, además de la evaluación preoperatoria, la medicación preanestésica, el tratamiento intra y postoperatorio, la analgesia postoperatoria y el dolor crónico.</td>\n",
       "      <td>0.270718</td>\n",
       "      <td>362</td>\n",
       "      <td>98.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>4912</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.541818</td>\n",
       "      <td>CONTENTS: Hoarseness is one of the most common postoperatory symptoms after tracheal intubation and the effects vary in terms of duration, depending on the factors that caused it and on how severe the damage to the laryngeal structures.</td>\n",
       "      <td>CONTENIDO: El ronquido después de la entubación traqueal es uno de los síntomas más frecuentes en el proceso postoperatorio, pudiendo presentar duraciones que varían, dependiendo de los factores de causa y de la gravedad del comprometimiento de las estructuras de la laringe.</td>\n",
       "      <td>ÍNDICE: La ronquera es uno de los síntomas postoperatorios más comunes después de la intubación traqueal y los efectos varían en términos de duración, dependiendo de los factores que la causaron y de la gravedad del daño a las estructuras laríngeas.</td>\n",
       "      <td>0.541818</td>\n",
       "      <td>275</td>\n",
       "      <td>149.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>5126</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.435685</td>\n",
       "      <td>CONTENTS: The mechanisms of placental transfer of drugs and the basic principles of embryo-fetotoxicity are reviewed and important aspects of embryo-fetal effects of anesthetic drugs are analyzed.</td>\n",
       "      <td>CONTENIDO: Son revisados los mecanismos de pasaje transplacentaria de drogas, los principios fundamentales de embriofetotoxicidad y analizados algunos aspectos importantes sobre efectos embriofetales de las drogas utilizadas en la anestesia.</td>\n",
       "      <td>ÍNDICE: Se revisan los mecanismos de transferencia placentaria de fármacos y los principios básicos de la fetotoxicidad embrionaria y se analizan aspectos importantes de los efectos embrionario-fetales de los fármacos anestésicos.</td>\n",
       "      <td>0.435685</td>\n",
       "      <td>241</td>\n",
       "      <td>105.0</td>\n",
       "    </tr>\n",
       "    <tr>\n",
       "      <td>5198</td>\n",
       "      <td>test-gma-en2es-health</td>\n",
       "      <td>WMT_16_ped</td>\n",
       "      <td>S0034.csv.sdlxliff</td>\n",
       "      <td>EN</td>\n",
       "      <td>ES</td>\n",
       "      <td>0.213974</td>\n",
       "      <td>CONTENTS: A widely accepted, easy to apply and uniform technique to evaluate pain in children, especially newborns and infants, that can be used in all situations does not exist.</td>\n",
       "      <td>CONTENIDO: No existe ninguna técnica ampliamente aceptada y fácilmente ejecutable y uniforme para la evaluación del dolor en niños, especialmente en los recién nacidos y lactantes que pueda ser utilizada en todas las situaciones.</td>\n",
       "      <td>ÍNDICE: No existe una técnica ampliamente aceptada, fácil de aplicar y uniforme para evaluar el dolor en niños, especialmente recién nacidos y lactantes, que pueda utilizarse en todas las situaciones.</td>\n",
       "      <td>0.213974</td>\n",
       "      <td>229</td>\n",
       "      <td>49.0</td>\n",
       "    </tr>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "                    Project    Relation            Document s_lid t_lid     score                                                                                                                                                                                                                                                                                                                                                                             source                                                                                                                                                                                                                                                                                                                                                                                                                                target                                                                                                                                                                                                                                                                                                                                                                                                                               mt   virtual  max_char    lev\n",
       "3265  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.415842  CONTENTS: A brief description of the technique of endovascular aneurism repair, possible vantages and disadvantages of its use, as well as potential complications are discussed.                                                                                                                                                                                                  CONTENIDO: Sencilla presentación de la técnica quirúrgica para la cura de aneurismas vía endovascular, las posibles ventajas y desventajas del procedimiento, como también las complicaciones potenciales.                                                                                                                                                                                                                            ÍNDICE: Se describe brevemente la técnica de reparación del aneurisma endovascular, las posibles ventajas y desventajas de su uso, así como las posibles complicaciones.                                                                                                                                                                                                                                                         0.415842  202       84.0 \n",
       "3271  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.225564  CONTENTS: The indications, technique, and complications of compression of the cricoid cartilage were reviewed.                                                                                                                                                                                                                                                                     CONTENIDO: Han sido revisadas las indicaciones, la técnica y las complicaciones de la maniobra de compresión del cartílago cricoides.                                                                                                                                                                                                                                                                                                 ÍNDICE: Se revisaron las indicaciones, la técnica y las complicaciones de la compresión del cartílago cricoides.                                                                                                                                                                                                                                                                                                                 0.225564  133       30.0 \n",
       "3288  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.314159  CONTENTS: All clinical, randomized studies that evaluated the effects of gabapentin on postoperative pain in humans between 2002 and 2007 for a total of 26 studies were selected.                                                                                                                                                                                                 CONTENIDO: Fueron seleccionados todos los estudios clínicos con distribución aleatoria que evaluaron el efecto de la gabapentina en el dolor postoperatorio en humanos entre 2002 y 2007.  Se encontraron 26 artículos publicados.                                                                                                                                                                                                    ÍNDICE: Se seleccionaron todos los estudios clínicos aleatorios que evaluaron los efectos de la gabapentina sobre el dolor postoperatorio en humanos entre 2002 y 2007 para un total de 26 estudios.                                                                                                                                                                                                                             0.314159  226       71.0 \n",
       "3309  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.489583  CONTENTS: This report refers to the long-known properties of cocaine.                                                                                                                                                                                                                                                                                                              CONTENIDO: El texto se refiere a propiedades que hace mucho tiempo se conocían sobre la cocaína.                                                                                                                                                                                                                                                                                                                                      ÍNDICE: Este informe se refiere a las propiedades largamente conocidas de la cocaína.                                                                                                                                                                                                                                                                                                                                            0.489583  96        47.0 \n",
       "3363  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.611702  CONTENTS: Original studies in the Medline database with patients older than 18 years and published over the last six years were reviewed.                                                                                                                                                                                                                                          CONTENIDO: Fueron investigados trabajos en una base de datos Medline, publicados en los últimos seis años y los criterios de inclusión fueron los estudios originales en mayores de 18 años.                                                                                                                                                                                                                                          ÍNDICE: Se revisaron los estudios originales en la base de datos de Medline con pacientes mayores de 18 años y publicados en los últimos seis años.                                                                                                                                                                                                                                                                              0.611702  188       115.0\n",
       "3478  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.507282  CONTENTS: Selected anesthesiologic considerations are discussed focusing a brief review of popular herbs essentials on the development of anesthetic pharmacology and the potential drug-herb interactions between synthetic drugs used in anesthesia and the medicinal herbs used by patients in their illness and symptoms management.                                           CONTENIDO: Son discutidas las consideraciones anestesiológicas seleccionadas, focalizando una pequeña revisión sobre hierbas medicinales más populares que fueron esenciales en el desenvolvimiento de una farmacología anestesiológica y aún, las potenciales interacciones de plantas medicinales usadas por pacientes para tratar sus enfermedades o controlar sus síntomas con drogas sintéticas usadas en la anestesia.          ÍNDICE: Se discuten algunas consideraciones anestesiológicas seleccionadas, centrándose una breve revisión de las hierbas populares esenciales en el desarrollo de la farmacología anestésica y las posibles interacciones entre las drogas sintéticas utilizadas en la anestesia y las hierbas medicinales utilizadas por los pacientes en el tratamiento de su enfermedad y de los síntomas.                                   0.507282  412       209.0\n",
       "3488  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.184953  CONTENTS: Magnesium is an intracellular cation with multiple functions: it is a cofactor for enzymes of the glucose metabolism and those that participate in the degradation of nucleic acids, proteins, and fatty acids; it regulates the movements of transmembrane ions; and it intervenes in the activity of several enzymes.                                                  CONTENIDO: El magnesio es un catión intracelular que posee múltiples funciones: es cofactor de enzimas del metabolismo glicídico y de enzimas de la degradación de los ácidos nucleicos, proteínas y ácidos grasos; regula el paso de los iones transmembrana e interviene en la actividad de varias enzimas.                                                                                                                         ÍNDICE: El magnesio es un catión intracelular con múltiples funciones: es un cofactor de enzimas del metabolismo de la glucosa y de las que participan en la degradación de los ácidos nucleicos, proteínas y ácidos grasos; regula los movimientos de los iones transmembrana; e interviene en la actividad de varias enzimas.                                                                                                  0.184953  319       59.0 \n",
       "3533  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.238710  CONTENTS: Some clinical and pharmacological considerations are made about thromboprophylactic drugs (cumarinics, aspirin and heparin).                                                                                                                                                                                                                                             CONTENIDO: Son hechas algunas consideraciones clínicas y farmacológicas sobre las drogas utilizadas en tromboprofilaxia (cumarínicos, aspirina y heparina).                                                                                                                                                                                                                                                                           ÍNDICE: Se hacen algunas consideraciones clínicas y farmacológicas sobre los fármacos tromboprofilácticos (cumarínicos, aspirina y heparina).                                                                                                                                                                                                                                                                                    0.238710  155       37.0 \n",
       "3549  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.259740  CONTENTS: A review of the main contemporary articles on the use of propofol in the presence of cardiac arrhythmias was undertaken.                                                                                                                                                                                                                                                 CONTENIDO: Se realizó una revisión en base a los principales artículos contemporáneos que engloban el uso del propofol cuando ocurren arritmias cardíacas.                                                                                                                                                                                                                                                                            ÍNDICE: Se realizó una revisión de los principales artículos contemporáneos sobre el uso de propofol en presencia de arritmias cardíacas.                                                                                                                                                                                                                                                                                        0.259740  154       40.0 \n",
       "3590  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.238267  CONTENTS: General characteristics of CAD, as well as its physiopathogenic mechanisms, the main variables related to preoperative care of patients with CAD, and the conducts for patients with greater surgical risk are presented.                                                                                                                                                CONTENIDO: Se presentan características generales de la DAC, como también sus mecanismos fisiopatogénicos, las principales variables relacionadas con la preparación del preoperatorio de pacientes con DAC, como también conductas frente a los enfermos de mayor riesgo quirúrgico.                                                                                                                                                 ÍNDICE: Se presentan las características generales de la EAC, así como sus mecanismos fisiopatogénicos, las principales variables relacionadas con la atención preoperatoria de los pacientes con EAC y las conductas para los pacientes con mayor riesgo quirúrgico.                                                                                                                                                            0.238267  277       66.0 \n",
       "3633  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.282787  CONTENTS: Physiologic respiratory changes due to aging are presented, with emphasis in pulmonary volume and capacity abnormalities, respiratory mechanics and gas exchange provided by anesthesia.                                                                                                                                                                                 CONTENIDO: Son presentadas las alteraciones respiratorias fisiológicas del envejecimiento.  Son enfatizadas las alteraciones de volumen y capacidades pulmonares, de la mecánica respiratoria y de cambios gaseosos proporcionados por la anestesia.                                                                                                                                                                                  ÍNDICE: Se presentan cambios respiratorios fisiológicos debidos al envejecimiento, con énfasis en las anomalías de volumen y capacidad pulmonar, la mecánica respiratoria y el intercambio gaseoso proporcionado por la anestesia.                                                                                                                                                                                               0.282787  244       69.0 \n",
       "3779  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.357664  CONTENTS: The emphasis on high-quality chest compressions with adequate rate and depth allowing full recoil of the chest and with minimal interruptions is highlighted in this update.                                                                                                                                                                                             CONTENIDO: El énfasis para la realización de las compresiones torácicas de alta calidad, con la frecuencia y la profundidad adecuadas, permitiendo el retorno total del tórax y con interrupción mínima en las compresiones, asume una posición de destaque en esta actualización.                                                                                                                                                    ÍNDICE: El énfasis en las compresiones torácicas de alta calidad con una tasa y profundidad adecuadas que permitan el retroceso total del tórax y con interrupciones mínimas se destaca en esta actualización.                                                                                                                                                                                                                   0.357664  274       98.0 \n",
       "4055  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.364217  CONTENTS: There are few available studies, but they show that some subpopulations of chronic pain patients may achieve sustained analgesia with minor tolerance and low addiction potential, mainly those refractory to conventional therapy.                                                                                                                                      CONTENIDO: Los estudios disponibles aun son limitados, más demuestran que determinadas subpoblaciones de pacientes portadores de dolor crónico, pueden alcanzar analgesia importante, con poca tolerancia y bajo potencial para adición, principalmente aquellos refractarios a los esquemas terapéuticos convencionales.                                                                                                             ÍNDICE: Existen pocos estudios disponibles, pero muestran que algunas subpoblaciones de pacientes con dolor crónico pueden lograr una analgesia sostenida con menor tolerancia y bajo potencial de adicción, principalmente aquellos que son refractarios a la terapia convencional.                                                                                                                                             0.364217  313       114.0\n",
       "4437  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.265823  CONTENTS: Cardiovascular, respiratory, endocrine and metabolic changes have been frequently associated to obesity and may cause significant clinical repercussions in the perioperative period of such patients.                                                                                                                                                                   CONTENIDO: Disturbios cardiovasculares, respiratorios, endocrinos y metabólicos son frecuentemente asociados a la obesidad y pueden causar repercusiones de significado clínico importantes en el período peri-operatorio en estos pacientes.                                                                                                                                                                                         ÍNDICE: Los cambios cardiovasculares, respiratorios, endocrinos y metabólicos se han asociado frecuentemente a la obesidad y pueden causar repercusiones clínicas significativas en el período perioperatorio de estos pacientes.                                                                                                                                                                                                0.265823  237       63.0 \n",
       "4456  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.223810  CONTENTS: The understanding of interethnic factors affecting drug response will allow anesthesiologists to prevent idiosyncratic reactions: (1) Caucasian: increased dopamine diuretic effect; prolonged apnea following succinylcholine or mivacurium; cardiac arrhythmias after halothane and catecholamines in Riley-Day syndrome; acute porphyria episodes after thiopental.   CONTENIDO: El conocimiento de factores inter-étnicos que alteran la respuesta a la droga permitirá al anestesiologista evitar reacciones idiosincrásicas: (1) Blanco caucasiano - aumento del efecto diurético de la dopamina; apnea prolongada después de succinilcolina o mivacúrio; arritmias cardíacas después del uso de halotano y catecolaminas en la síndrome de Riley-Day; ataques agudos de porfiria después de tiopental.  ÍNDICE: La comprensión de los factores interétnicos que afectan la respuesta de los medicamentos permitirá a los anestesiólogos prevenir reacciones idiosincrásicas: (1) Caucásico: aumento del efecto diurético de la dopamina; apnea prolongada después de succinilcolina o mivacurio; arritmias cardíacas después de halotano y catecolaminas en el síndrome de Riley-Day; episodios de porfiria aguda después de tiopental.  0.223810  420       94.0 \n",
       "4507  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.373288  CONTENTS: Preoperative clinical history, factors contributing to peri and postoperative complications and the type of surgery and anesthetic technique favoring such complications are highlighted.                                                                                                                                                                                CONTENIDO: Están resaltados la importancia de la historia clínica en la investigación pré-operatoria, los factores que contribuyen para el aparecimiento de complicaciones en el per y en el pós-operatorio, así como el tipo de cirugía y la técnica anestésica que favorecen estas complicaciones.                                                                                                                                  ÍNDICE: Se destacan la historia clínica preoperatoria, los factores que contribuyen a las complicaciones perioperatorias y postoperatorias y el tipo de cirugía y técnica anestésica que favorece dichas complicaciones.                                                                                                                                                                                                         0.373288  292       109.0\n",
       "4521  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.380368  CONTENTS: In general, regional block outcomes are confirmed more by the lack of dermatome sensitivity than by miotomes motor activity.                                                                                                                                                                                                                                             CONTENIDO: Comúnmente el desenlace de un bloqueo regional es pesquisado más por la insensibilidad de los dermátomos de que por la actividad motora de los miótomos.                                                                                                                                                                                                                                                                   ÍNDICE: En general, los resultados del bloqueo regional se confirman más por la falta de sensibilidad del dermatoma que por la actividad motora de los miomas.                                                                                                                                                                                                                                                                   0.380368  163       62.0 \n",
       "4539  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.388298  CONTENTS: Potential application areas are presented, in addition to clinical studies involving major hemoglobin molecules developed, their advantages and limitations.                                                                                                                                                                                                             CONTENIDO: Son presentadas las áreas potenciales de aplicación, bien como estudios clínicos envolviendo las principales moléculas de hemoglobina desarrolladas, sus ventajas y limitaciones.                                                                                                                                                                                                                                          ÍNDICE: Se presentan las posibles áreas de aplicación, además de los estudios clínicos en los que se han desarrollado las principales moléculas de hemoglobina, sus ventajas y limitaciones.                                                                                                                                                                                                                                     0.388298  188       73.0 \n",
       "4635  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.386364  CONTENTS: There is a chain reaction as from dehydrated or dried out soda lime with very low percent volume of water.                                                                                                                                                                                                                                                               CONTENIDO: Existe una reacción en cadena a partir de la cal sodada deshidratada o resecada con bajos volúmenes porcentuales de agua.                                                                                                                                                                                                                                                                                                  ÍNDICE: Se produce una reacción en cadena a partir de cal gaseosa deshidratada o desecada con un volumen de agua muy bajo.                                                                                                                                                                                                                                                                                                       0.386364  132       51.0 \n",
       "4654  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.296117  CONTENTS: A technical review of rapid sequence induction of anesthesia is presented, emphasizing the rational use of hypnotics, opioids and neuromuscular blockers (NMB) to shorten the period between loss of consciousness and correct tracheal tube positioning, that is, shorten the period of highest risk for aspiration while maintaining excellent intubation conditions.  CONTENIDO: Presenta una revisión de la técnica de la inducción con secuencia rápida, enfatizando el uso racional de los hipnóticos, opioides y bloqueadores neuromusculares (BNM), para reducir el período entre la pérdida de la consciencia y el correcto posicionamiento del tubo traqueal, o sea, diminuir el período de mayor riesgo para aspiración y aún mantener excelentes condiciones de intubación traqueal.               ÍNDICE: Se presenta una revisión técnica de la inducción de la secuencia rápida de la anestesia, enfatizando el uso racional de hipnóticos, opioides y bloqueadores neuromusculares (NMB) para acortar el período entre la pérdida de conocimiento y la correcta colocación del tubo traqueal, es decir, acortar el período de mayor riesgo de aspiración, manteniendo al mismo tiempo excelentes condiciones de intubación.     0.296117  412       122.0\n",
       "4720  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.343173  CONTENTS: The relationship between preoperative anxiety in children and postoperative behavior changes, as well as the influence of variables such as age, temperament, previous hospital experience and pain are discussed.                                                                                                                                                       CONTENIDO: El artículo aborda la ligación entre la ansiedad pre-operatoria en niños y las alteraciones de comportamiento que pueden ocurrir en el período post-operatorio, bien como la influencia de variables como edad, temperamento, experiencia hospitalar previa y dolor.                                                                                                                                                       ÍNDICE: Se discute la relación entre la ansiedad preoperatoria en los niños y los cambios de comportamiento postoperatorios, así como la influencia de variables como la edad, el temperamento, la experiencia hospitalaria previa y el dolor.                                                                                                                                                                                   0.343173  271       93.0 \n",
       "4843  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.656442  CONTENTS: Several strategies to manage PONV are suggested in this article, but stress is given to guidelines published by Gan in 2003.                                                                                                                                                                                                                                             CONTENIDO: Varias son las estrategias de manoseo de NVPO sugeridas en este artículo, destacándose, sin embargo, las líneas de orientación emitidas por Gan en 2003.                                                                                                                                                                                                                                                                   ÍNDICE: En este artículo se sugieren varias estrategias para manejar las NVPO, pero se hace hincapié en las directrices publicadas por Gan en 2003.                                                                                                                                                                                                                                                                              0.656442  163       107.0\n",
       "4866  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.270718  CONTENTS: This article addresses cerebral palsy aspects such as etiology, classification, risk factors, pathophysiology, clinical presentation, diagnosis and therapies and, in addition to preoperative evaluation, preanesthetic medication, intra and postoperative management, postoperative analgesia and chronic pain.                                                       CONTENIDO: El artículo aborda aspectos de la parálisis cerebral como etiología, clasificación, factores de riesgo, fisiopatología, cuadro clínico, diagnóstico, terapéuticas utilizadas bien como evaluación pre-operatoria, medicación pre-anestésica, manoseo intra y posoperatorio, analgesia posoperatoria y dolor crónico.                                                                                                       ÍNDICE: En este artículo se abordan aspectos de la parálisis cerebral como la etiología, la clasificación, los factores de riesgo, la fisiopatología, la presentación clínica, el diagnóstico y las terapias y, además de la evaluación preoperatoria, la medicación preanestésica, el tratamiento intra y postoperatorio, la analgesia postoperatoria y el dolor crónico.                                                       0.270718  362       98.0 \n",
       "4912  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.541818  CONTENTS: Hoarseness is one of the most common postoperatory symptoms after tracheal intubation and the effects vary in terms of duration, depending on the factors that caused it and on how severe the damage to the laryngeal structures.                                                                                                                                       CONTENIDO: El ronquido después de la entubación traqueal es uno de los síntomas más frecuentes en el proceso postoperatorio, pudiendo presentar duraciones que varían, dependiendo de los factores de causa y de la gravedad del comprometimiento de las estructuras de la laringe.                                                                                                                                                   ÍNDICE: La ronquera es uno de los síntomas postoperatorios más comunes después de la intubación traqueal y los efectos varían en términos de duración, dependiendo de los factores que la causaron y de la gravedad del daño a las estructuras laríngeas.                                                                                                                                                                        0.541818  275       149.0\n",
       "5126  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.435685  CONTENTS: The mechanisms of placental transfer of drugs and the basic principles of embryo-fetotoxicity are reviewed and important aspects of embryo-fetal effects of anesthetic drugs are analyzed.                                                                                                                                                                               CONTENIDO: Son revisados los mecanismos de pasaje transplacentaria de drogas, los principios fundamentales de embriofetotoxicidad y analizados algunos aspectos importantes sobre efectos embriofetales de las drogas utilizadas en la anestesia.                                                                                                                                                                                     ÍNDICE: Se revisan los mecanismos de transferencia placentaria de fármacos y los principios básicos de la fetotoxicidad embrionaria y se analizan aspectos importantes de los efectos embrionario-fetales de los fármacos anestésicos.                                                                                                                                                                                           0.435685  241       105.0\n",
       "5198  test-gma-en2es-health  WMT_16_ped  S0034.csv.sdlxliff  EN    ES    0.213974  CONTENTS: A widely accepted, easy to apply and uniform technique to evaluate pain in children, especially newborns and infants, that can be used in all situations does not exist.                                                                                                                                                                                                 CONTENIDO: No existe ninguna técnica ampliamente aceptada y fácilmente ejecutable y uniforme para la evaluación del dolor en niños, especialmente en los recién nacidos y lactantes que pueda ser utilizada en todas las situaciones.                                                                                                                                                                                                 ÍNDICE: No existe una técnica ampliamente aceptada, fácil de aplicar y uniforme para evaluar el dolor en niños, especialmente recién nacidos y lactantes, que pueda utilizarse en todas las situaciones.                                                                                                                                                                                                                         0.213974  229       49.0 "
      ]
     },
     "execution_count": 7,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "a = SearchSourceEntry({\"s_lid\": \"EN\", \"t_lid\": \"ES\", 'desc':\"Term: BACKGROUND: JUSTIFICATIVA\",\n",
    "                       \"search\": \"ANTECEDENTES(?= Y OBJETIVOS)\", \"replace\": \"JUSTIFICATIVA\", \n",
    "                       \"source_filter\": \"^BACKGROUND AND OBJECTIVES:\"\n",
    "                      })\n",
    "b = SearchSourceEntry({\"s_lid\": \"EN\", \"t_lid\": \"ES\", \"desc\": \"Term: CONTENTS: CONTENIDO\", \n",
    "                       \"search\": \"ÍNDICE:\", \"replace\": \"CONTENIDO:\", \n",
    "                       \"source_filter\": \"^CONTENTS:\"\n",
    "                      })\n",
    "c = SearchSourceEntry({\"s_lid\": \"EN\", \"t_lid\": \"ES\", \"desc\": \"Term: pain score: puntaje de dolor\", \n",
    "                       \"search\": \"[Pp]untuacione?(s)?(?= de dolor)\", \"replace\": \"puntaje\\\\1\", \n",
    "                       \"source_filter\": \"\\\\bpain scoress?\"\n",
    "                      })        \n",
    "d = SearchSourceEntry({\"s_lid\": \"EN\", \"t_lid\": \"ES\", \"desc\": \"Term: early: precoz\", \n",
    "                       \"search\": \"tempran[ao]s?(mente)?\", \"replace\": \"precoz\", \n",
    "                       \"source_filter\": \"\\\\bearly\\\\b\"\n",
    "                      })\n",
    "e = SearchSourceEntry({\"s_lid\": \"EN\", \"t_lid\": \"ES\", \"desc\": \"Term: Breeding season: estación reproductiva\", \n",
    "                       \"search\": \"\\\\b[Tt]emporada de reproducción\\\\b\", \"replace\": \"estación reproductiva\", \n",
    "                       \"source_filter\": \"\\\\bbreeding season\"\n",
    "                      })  \n",
    "f = SearchMTEntry({\"s_lid\": \"All\", \"t_lid\": \"ES\", \"desc\": \"Loc: decimal separator\", \n",
    "                   \"search\": \"\\\\b(2LTR|T)-HIV\\\\b\", \"replace\": \"HIV-\\\\1\"\n",
    "                  })\n",
    "g = SearchMTEntry({\"s_lid\": \"All\", \"t_lid\": \"ES\", \"desc\": \"Term: heterocigosidad -> heterocigosis\", \n",
    "                   \"search\": \"[Hh]eterocigosidad\\\\b\", \"replace\": \"heterocigosis\"\n",
    "                  })\n",
    "h = ToggleCaseEntry({\"s_lid\": \"All\", \"t_lid\": \"ES\", \"desc\": \"Capitalize first character if this is reflected in the source\", \n",
    "                     \"search\": 1, \"replace\": \"upper\"\n",
    "                    })  \n",
    "\n",
    "# To test the search and source \n",
    "# If you receive a UserWarning, please ignore it.\n",
    "filter_items(exp=b.search, data=data, col=\"mt\")"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Compiling substitution sets of rules\n",
    "After creating some rules relevant to the error patterns found in the data, we are going to apply them and measure their impact on the PED. This includes: \n",
    "1. Creating a `PreprocSub` wrapper object to simplify applying and managing our set of entries.\n",
    "2. Applying the set of entries to our data.\n",
    "3. Recalculating the PED score for each segment.\n",
    "\n",
    "Note that step three will provide us with updated scores for each entry. This is useful to determine the statistical impact of a rule. If a rule has little, no or a negative impact, we probably don't want to include it in our set of entries. Every time we apply an entry object to a table, its `ped_effect` attribute will be updated accordingly. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 8,
   "metadata": {},
   "outputs": [
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Original PED:\t0.384075\n",
      "Updated PED:\t0.381341\tTerm: BACKGROUND: JUSTIFICATIVA\n",
      "Updated PED:\t0.381109\tTerm: CONTENTS: CONTENIDO\n"
     ]
    },
    {
     "name": "stderr",
     "output_type": "stream",
     "text": [
      "C:\\Users\\seelig\\AppData\\Local\\Continuum\\anaconda3\\lib\\site-packages\\pandas\\core\\strings.py:1843: UserWarning: This pattern has match groups. To actually get the groups, use str.extract.\n",
      "  return func(self, *args, **kwargs)\n"
     ]
    },
    {
     "name": "stdout",
     "output_type": "stream",
     "text": [
      "Updated PED:\t0.381127\tTerm: pain score: puntaje de dolor\n",
      "Updated PED:\t0.381088\tTerm: early: precoz\n",
      "Updated PED:\t0.381074\tTerm: Breeding season: estación reproductiva\n",
      "Updated PED:\t0.381047\tLoc: decimal separator\n",
      "Updated PED:\t0.381041\tTerm: heterocigosidad -> heterocigosis\n",
      "Updated PED:\t0.381041\tCapitalize first character if this is reflected in the source\n",
      "0.003034221265699799\n"
     ]
    }
   ],
   "source": [
    "subs_list = list([a,b,c,d,e,f,g,h])\n",
    "\n",
    "subs = PreprocSub(created_by=\"ASE\", desc=\"For WMT 16 testset (EN-ES)\", entries=subs_list)\n",
    "data = subs.apply_to_table(data, verbose=True)\n",
    "print(subs.ped_effect)"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 9,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/html": [
       "<div>\n",
       "<style scoped>\n",
       "    .dataframe tbody tr th:only-of-type {\n",
       "        vertical-align: middle;\n",
       "    }\n",
       "\n",
       "    .dataframe tbody tr th {\n",
       "        vertical-align: top;\n",
       "    }\n",
       "\n",
       "    .dataframe thead th {\n",
       "        text-align: right;\n",
       "    }\n",
       "</style>\n",
       "<table border=\"1\" class=\"dataframe\">\n",
       "  <thead>\n",
       "    <tr style=\"text-align: right;\">\n",
       "      <th></th>\n",
       "      <th>Project</th>\n",
       "      <th>Relation</th>\n",
       "      <th>Document</th>\n",
       "      <th>s_lid</th>\n",
       "      <th>t_lid</th>\n",
       "      <th>score</th>\n",
       "      <th>source</th>\n",
       "      <th>target</th>\n",
       "      <th>mt</th>\n",
       "      <th>virtual</th>\n",
       "      <th>max_char</th>\n",
       "      <th>lev</th>\n",
       "    </tr>\n",
       "  </thead>\n",
       "  <tbody>\n",
       "  </tbody>\n",
       "</table>\n",
       "</div>"
      ],
      "text/plain": [
       "Empty DataFrame\n",
       "Columns: [Project, Relation, Document, s_lid, t_lid, score, source, target, mt, virtual, max_char, lev]\n",
       "Index: []"
      ]
     },
     "execution_count": 9,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Note how the list of filtered items got smaller\n",
    "filter_items(exp=b.search, data=data, col=\"mt\")"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 10,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "'Term: pain score: puntaje de dolor'"
      ]
     },
     "execution_count": 10,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Delete last entry == lowest or most negative PED effect\n",
    "deleted = subs.entries.pop(-1)\n",
    "deleted.desc"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Considering how marginal the PED gains are, what approach would you take to identify suitable candidate rules? Depending  on the size and homogeneity of your dataset, are any of the tools presented in [section 3](#3.-Quality-evaluation)  more or less useful than others?"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Serializing / deserializing substitution lists for storage\n",
    "In order to store and reuse our set of entries, we use two convenience methods called `convert_to_json` and `load_from_json` that take care of serializing our custom objects. We use the JSON format, because it allows us to review and edit our set in a standard text editor.\n",
    "\n",
    "To preview how your export will look like, run the following cell:\n",
    "```\n",
    "import json\n",
    "print(json.dumps(subs.convert_to_json(), indent=4, ensure_ascii=False))\n",
    "```\n",
    "Note that entries have been re-indexed according to their PED effect on our dataset."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": [
    "#import json\n",
    "#print(json.dumps(subs.convert_to_json(), indent=4, ensure_ascii=False))"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 11,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[<source.entries.SearchSourceEntry at 0x1ce306fd908>,\n",
       " <source.entries.SearchSourceEntry at 0x1ce30459a88>,\n",
       " <source.entries.SearchSourceEntry at 0x1ce30459f88>,\n",
       " <source.entries.SearchMTEntry at 0x1ce30529e48>,\n",
       " <source.entries.SearchSourceEntry at 0x1ce30529bc8>,\n",
       " <source.entries.SearchMTEntry at 0x1ce305297c8>,\n",
       " <source.entries.ToggleCaseEntry at 0x1ce30706d48>]"
      ]
     },
     "execution_count": 11,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "# Serialize list to disk\n",
    "fp = \"out\\\\wmt16_en-es.json\"\n",
    "subs.convert_to_json(fp);\n",
    "# To deserialize simply pass in the file path:\n",
    "new_subs = PreprocSub(fp=fp)\n",
    "new_subs.entries"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## 5. Conclusion\n",
    "Let's summarize what we have done so far. We have seen how we can aggregate, visualize and export PED data to make better sense of our post-editing efforts. We have discussed how quality evaluation relates to our efforts to improve MT output incrementally. We then presented a small set of tools to create and test post-processing steps. This concludes this notebook. \n",
    "\n",
    "If you are interested in how to apply our tools to translation files used in a CAT environment, there is supplementary PED Writer notebook [here](ped_writer_nb.ipynb \"PED Writer Notebook\"). Hope to see your there!\n",
    "\n",
    "If you found any of this content helpful or confusing, please let me know. [mailto](mailto:arnseelig[at]gmail.com)"
   ]
  },
  {
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "## Sources:\n",
    "This notebook uses data from the [ACL 2016 Conference on Machine Translation](https://www.statmt.org/wmt16/biomedical-translation-task.html \"Biomedical Translation Taks\"). Please check the [full report](http://www.aclweb.org/anthology/W/W16/W16-2301 \"@InProceedings{bojar-EtAl:2016:WMT1,\n",
    "  author    = {Bojar, Ond\\v{r}ej  and  Chatterjee, Rajen and Federmann, Christian  and  Graham, Yvette  and  Haddow, Barry  and  Huck, Matthias  and  Jimeno Yepes, Antonio  and  Koehn, Philipp  and  Logacheva, Varvara  and  Monz, Christof  and  Negri, Matteo  and  Neveol, Aurelie  and  Neves, Mariana  and  Popel, Martin  and  Post,  Matt  and  Rubino, Raphael  and  Scarton, Carolina  and  Specia,  Lucia  and  Turchi, Marco  and  Verspoor, Karin  and  Zampieri,  Marcos},\n",
    "  title     = {Findings of the 2016 Conference on Machine Translation},\n",
    "  booktitle = {Proceedings of the First Conference on Machine Translation},\n",
    "  month     = {August},\n",
    "  year      = {2016},\n",
    "  address   = {Berlin, Germany},\n",
    "  publisher = {Association for Computational Linguistics},\n",
    "  pages     = {131--198},\n",
    "  url       = {http://www.aclweb.org/anthology/W/W16/W16-2301}\n",
    "}\") to find out more about the data used for the Biomedical Translation Task and other tasks."
   ]
  },
  {
   "cell_type": "code",
   "execution_count": null,
   "metadata": {},
   "outputs": [],
   "source": []
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "Python 3",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.7.4"
  }
 },
 "nbformat": 4,
 "nbformat_minor": 2
}