BigData-es001.ipynb

{
 "cells": [
  {
   "cell_type": "markdown",
   "id": "149cb3a8",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "#  Big Data: Definición y características "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b6a4ea0b",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Big Data y el análisis de datos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3c851634",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- ¿Cómo puede el análisis de datos y Big Data ayudar a mi organización?\n",
    "- ¿Cómo extraigo información valiosa e *insights* sobre las tendencias, correlaciones y patrones que existen en Big Data?"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ac36dd2a",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- En el pasado solo las grandes organizaciones podían aprovecharse de Big Data: \n",
    "    - Walmart, Google, agentes financieros especializados. \n",
    "- Actualmente con Hadoop, hardware de bajo coste (*commodity*) con el kernel de Linux y el *cloud computing*, casi cualquier organización se lo puede permitir."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "347d6143",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- En 2025, cada persona conectada en el mundo interactuará dejando su huella digital unas 4900 veces por día - eso significa una interacción cada 18 segundos.\n",
    "- \"El mundo guiado por los datos va a estar siempre activo, siempre haciendo el seguimiento de todo, siempre monitorando, siempre escuchando y siempre viendo - porque va a estar siempre aprendiendo.\"\n",
    "    - Fuente: The Digitization of the World – From Edge to Core. IDC White Paper. Doc# US44413318. Noviembre 2018."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f8c96b01",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Con base en estadísticas del mercado, se cree que los datos generados en el mundo aumentan a un ritmo del 40% anualmente. Para 2025 se crearán más de 180 zetabytes según la plataforma global de datos y *business intelligence* Statista <https://www.statista.com/statistics/871513/worldwide-data-created/>. \n",
    "- Statista aumentó estos valores luego de la pandemia de COVID-19 ya que hubo un enorme cambio de costumbres en el mercado laboral y social al llevar varias de las interacciones humanas al ámbito virtual; aumentando en consecuencia la cantidad de datos disponibles."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a31274b7",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Por su parte IDC predijo en 2018 que la *Global Datasphere* crecerá desde los 33 Zettabytes en 2018 hasta los 175 Zettabytes en 2025.\n",
    "    - Fuente: The Digitization of the World – From Edge to Core. IDC White Paper. Doc# US44413318. Noviembre 2018.\n",
    "- Vivimos en la era del zettabyte: <https://es.wikipedia.org/wiki/Era_del_zettabyte>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "16b20d2a",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Definición de Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7c71c023",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Según la norma ISO/IEC DIS 20546(en) Information technology — Big data — Overview and vocabulary, la definición de Big data es la siguiente: \n",
    "\n",
    "\t\"conjuntos de datos extensos, principalmente en las características de los datos de volumen, variedad, velocidad y/o variabilidad, que requieren una tecnología escalable para un almacenamiento, manipulación, gestión y análisis eficientes.\"\t"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b761da7e",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Aunque agrega una nota a la entrada especificando que este término \"se usa comúnmente de muchas maneras diferentes, por ejemplo, como el nombre de la tecnología escalable utilizada para manejar conjuntos de datos extensos de big data\".  \n",
    "\t\n",
    "    Fuente: <https://www.iso.org/obp/ui/#iso:std:iso-iec:20546:dis:ed-1:v1:en>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c5a772e7",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- De forma similar la consultora Gartner lo define como:\n",
    "\t\n",
    "    \"activos de datos de gran volumen, alta velocidad y/o gran variedad que exigen formas innovadoras y rentables de procesamiento de la información que permiten una mejor comprensión, toma de decisiones y automatización de procesos.\"\n",
    "\n",
    "    Fuente: Gartner’s Glossary. <https://www.gartner.com/en/information-technology/glossary/big-data>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d8754350",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## El mercado del Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "061591d4",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- El mercado global de Big Data y análisis de negocios ha crecido saludablemente durante los últimos años.\n",
    "- 122 billones de dolares estadounidenses de ingresos a nivel global en 2015, hasta los estimados 189 billones de dólares estadounidenses en 2019.\n",
    "- La proyección de IDC para los ingresos en 2022 ha sido de 274 billones de dólares estadounidenses en 2022.\n",
    "    - Fuente: PCMag. <https://www.pcmag.com/news/the-big-data-market-is-set-to-skyrocket-by-2022>. Junio 2019."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f59b4c53",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Snowflake tiene una capitalización de mercado de 69 billones de dólares estadounidenses.\n",
    "- Palantir a su vez alcanzó los 22 billones de dólares estadounidenses en 2019 (40 B. en 2022).\n",
    "- Datadog era una empresa valuada en 12 billones de dólares estadounidenses (25 B. en 2022).\n",
    "    - Fuente: Matt Turck. \n",
    "    - <https://mattturck.com/data2020/>. Septiembre, 2020. \n",
    "    - <https://mattturck.com/madindex/>. Septiembre. 2021."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "840c237f-27c7-4aad-9ab4-bdbeb32693a9",
   "metadata": {},
   "source": [
    "- Algunos ejemplos de la evolución del mercado de Big Data desde el 2012 hasta la actualidad:"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0e0a2de2-627c-4b5c-ac1e-58177cc0aefb",
   "metadata": {},
   "source": [
    "- <https://www.forbes.com/sites/davefeinleib/2012/06/19/the-big-data-landscape/>. The Big Data Landscape. 2012.\n",
    "- <https://mattturck.com/data2020/>. The 2020 Data & AI Landscape. Septiembre, 2020. \n",
    "- <https://mattturck.com/madindex/>. Machine Learning, AI and Data (MAD) Landscape. Septiembre, 2021.\n",
    "- <https://mattturck.com/mad2024/>. The 2024 MAD (Machine Learning, AI & Data) Landscape. Marzo, 2024."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6bddb730",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Big Data en España"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "912732b6",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- *El 11,1% de las empresas españolas de más de 10 empleados hizo análisis basado en Big Data en el último año y nueve meses o “período pandémico” (2020/2021). Son 2 puntos porcentuales más que en el período previo, de relativa calma económica (2018/2019).*\n",
    "- Fuente: [IT User](https://www.ituser.es/opinion/2021/10/20202021-digitalizacion-en-espana-big-data-pymes-y-liderazgo-femenino)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "340b86d0",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- *El salto más fuerte ha sido el del porcentaje de empresas españolas que han pasado a emplear Internet de las Cosas (IoT) en 2018/2019 (16,8%) al período actual 2020/2021 (27,7%): un salto de +10,9% a favor de IoT.*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "11530c7f",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- *La tecnología menos utilizada es la Inteligencia Artificial (IA), por un 8,3% de empresas en el período pandémico de 2020/2021.*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c425d9e6",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Tendencias en Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8122cb08",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Operacionalización del Big Data.\n",
    "- Menos unicornios en el mundo de los datos y el AI.\n",
    "- Mayor alineación entre la analítica tradicional con ML y la analítica AI.\n",
    "    - Fuente: Infoworks.io <https://www.infoworks.io/big-data-trends/>. Octubre 2019."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "39e6aceb",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- De Hadoop a servicios cloud a Kubernetes + Snowflake.\n",
    "- Gobernanza de Datos, catalogación, y la cada vez más importante gestión de datos.\n",
    "- El aumento de stacks específicos para la infraestructura de AI (“MLOps”, “AIOps”).\n",
    "    - Fuente: Mattturck.com. <https://mattturck.com/data2020/>. Septiembre, 2019."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c15821ce",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- ETL vs ELT.\n",
    "- Automación de la ingeniería de datos.\n",
    "- Alza de la importancia del analista de datos.\n",
    "- Unión de los Data lakes y los data warehouses.\n",
    "- Boom de plataformas para ciencia de datos y machine learning (DSML).\n",
    "- GAFAM, Uber, Lyft, etc. se han convertido completamente en organizaciones AI.\n",
    "- Alza de NLP, una rama de la AI focalizada en entender el lenguaje natural.\n",
    "    - Fuente: Mattturck.com. <https://mattturck.com/data2020/>. Septiembre, 2019."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "79a5bb3d",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## 2021 Machine Learning, AI and Data (MAD) Landscape"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d197a491",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Toda empresa es una empresa de datos (GAFAM).\n",
    "- Almacenes de datos (*datawarehouses*) y lagos (*data lakes*).\n",
    "- Consolidación vs malla de datos (*data mesh*): el futuro es híbrido.\n",
    "- <https://martinfowler.com/articles/data-monolith-to-mesh.html>.\n",
    "- DataOps."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7c0fe9ca-3959-436d-86a9-32eaaf4609c0",
   "metadata": {},
   "source": [
    "- Real time (Confluent/Kafka, Storm, Flink, Materialize, AWS Kinesis).\n",
    "- Capa de métricas (*Metric stores*).\n",
    "- *Reverse ETL*.\n",
    "- Compartir datos con partners, proveedores y clientes."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "dfe119ab",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Predicciones ML e inteligencia artificial:\n",
    "    - Feature Stores (variables o atributos en ML).\n",
    "    - ModelOps: modelos de operaciones para AI incluyendo ML. \n",
    "    - Generación de contenido por AI (Synthesia, Sonantic).\n",
    "    - <https://www.messimessages.com/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e18118c1",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Stack chino de AI: plan de supremacía para el 2030. \n",
    "- Wu Dao 2.0 es una IA multimodal que tiene 1,75 billones de parámetros, 10 veces la cantidad de GPT-3, lo que lo convierte en el sistema de lenguaje de IA más grande hasta la fecha. Sus capacidades incluyen el manejo de NLP y reconocimiento de imágenes.\n",
    "    - Fuente: <https://mattturck.com/data2021/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "36cde965-e062-4455-8623-6980c1e6080b",
   "metadata": {},
   "source": [
    "## MAD 2024"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8cbaa9e6-ecfd-486f-b953-7e372ceade2b",
   "metadata": {},
   "source": [
    "- En el informe de 2024 el autor mueve el objetivo del *landscape* Big Data hacia la IA resaltando como tendencia la interacción de los datos no estructurados, utilizados en los modelos LLM, para entrenar los datos internos de las organizaciones.\n",
    "- En este sentido comenta el rápido crecimiento de las empresas OpenAI, Anthropic, Palantir, Midjourney y Perplexity AI, entre otras; y el aumento de la valoración de las 7 magníficas (Nvidia, Meta, Amazon, Microsoft, Alphabet, Apple and Tesla) en la bolsa de Nueva York (2023).\n",
    "    - Fuente: <https://mattturck.com/mad2024/#more-1805>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cbea0233-5c04-4563-bc18-2e9697912493",
   "metadata": {},
   "source": [
    "- En el informe de *Inside Big Data* <https://insidebigdata.com/2024/01/18/big-data-industry-predictions-for-2024/> para 2024, el CEO de <https://www.bristlecone.com/> señala que los LLM (*Large Language Models*) de la IA generativa han introducido nuevas oportunidades para unir Big Data y la toma de decisiones. Esto es debido a que los *Intelligent Agents* entienden y responden a las consultas hechas en lenguaje natural."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9d010219-3e92-4f98-bb6a-dfb1943b025c",
   "metadata": {},
   "source": [
    "- Por último, la lista de *Inside Big Data* IMPACT 50 LIST for Q1 2024 <https://insidebigdata.com/2024/01/18/the-insidebigdata-impact-50-list-for-q1-2024/> muestra, listando a las empresas más importantes, cómo el mercado ha evolucionado hacia la IA. Ellas son: OpenAI, Microsoft AI, NVIDIA, Hugging Face (*Pre-trained ML models*), Google AI y DeepMind, Amazon Web Services, Snowflake, Databricks, Intel AI, e IBM, en este orden. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2d70f1bc",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "<!--<a id=\"gobierno-datos\"></a> -->\n",
    "## Gobierno de datos / Data governance "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "111c5402",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- El gobierno de datos es una serie de principios, estándares y prácticas que se aplican de punta a punta en el ciclo de vida de los datos (recolección, almacenamiento, uso, protección, archivo y eliminación) para asegurar que los mismos sean confiables y consistentes. \n",
    "- Para ello establece estructuras organizacionales, confirma responsables de datos, Hace cumplir reglas y políticas, documenta procesos y registra métricas y términos de negocio comunes.  "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "896ccc35-c3cc-4d1c-90db-c014c19394ce",
   "metadata": {},
   "source": [
    "- Fuente: [Informatica.com](https://www.informatica.com/blogs/data-governance-vs-data-management-whats-the-difference.html). "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7ab344d7-c67d-4d0b-94b6-003719426819",
   "metadata": {},
   "source": [
    "## Apache Atlas"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1b1b43f7-8ef6-4c7c-b1ed-8c1f3d3b3f44",
   "metadata": {},
   "source": [
    "- Apache Atlas ofrece un conjunto de servicios escalables y extensibles de gobernanza para que las organizaciones puedan cumplir sus objetivos de *compliance* en Hadoop, permitiendo además su integración con el resto del ecosistema de datos de la organización.\n",
    "- Gestiona los metadatos abiertos y permite construir un catálogo de todos los activos de datos, clasificando, gobernando y facilitando la colaboración entre los cientistas de datos, analistas de negocios, y el equipo de gobernanza."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e5e3c3d2-9cc7-40ee-93ed-e35aea7b1a80",
   "metadata": {},
   "source": [
    "- Fuente: <https://atlas.apache.org/#/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cb3d8ee0",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "<!--<a id=\"iso-20547\"></a>   -->\n",
    "## Serie de normas ISO/IEC 20547"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ad0a83b8",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La serie ISO/IEC 20547 está destinada a proporcionar a los usuarios un enfoque estandarizado para desarrollar e implementar arquitecturas de Big Data y proporcionar referencias para enfoques.\n",
    "- El vocabulario y los conceptos comunes están descritos en la ISO/IEC 20546.   \n",
    "\n",
    "    Fuente: Getting big on data <https://www.iso.org/news/ref2578.html>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "86585e20",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Otras normas que se pueden considerar a la hora de implementar una solución de Big data son:\n",
    "    - ISO/IEC 55000 | Asset Management\n",
    "\t- ISO/IEC 9001 | Quality Management\n",
    "\t- ISO/IEC 20000 | IT Service Management\n",
    "\t- ISO/IEC 31000 | Risk Management\n",
    "\t- ISO/IEC 27000 | Security Management"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "c23bf0fb",
   "metadata": {},
   "source": [
    "## NIST Big Data Interoperability Framework"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a45fd318",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Por su parte, para avanzar en el progreso de Big Data, el Grupo de Trabajo Público de Big Data del NIST (NBD-PWG) <https://www.nist.gov/itl/big-data-nist> trabaja para desarrollar un consenso sobre conceptos importantes y fundamentales relacionados con Big Data. \n",
    "- Con este objetivo, ha puesto a disposición del público el NIST Big Data Interoperability Framework que consta de 9 documentos que van desde el NIST Big Data Interoperability Framework: Volume 1, Definitions. Version 3.0 (<https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1500-1r2.pdf>) hasta el Volume 9: Modernization and Adoption (<https://nvlpubs.nist.gov/nistpubs/SpecialPublications/NIST.SP.1500-10r1.pdf>). "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4e79865d",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "<!--<a id=\"calidad-datos\"></a>  -->\n",
    "## Gestión de la calidad de los datos\n"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "af639c92",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- En este escenario, la Organización Internacional de Normalización o Estandarización (ISO) ha desarrollado una serie de normas técnicas que se centran en el Gobierno de Datos, Gestión de Calidad de Datos, y la Calidad de productos de software (Datos) teniendo también en cuenta los aspectos de Seguridad y Privacidad de los Datos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a933b134",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Las normas relacionadas con la gestión y calidad de los datos son:\n",
    "\t- ISO/IEC 8000 | Data Quality Management.\n",
    "\t- ISO/IEC 33000 | SPICE – Software Process Improvement and Capability dEtermination.\n",
    "\t- ISO/IEC 38505 | Governance of IT — Governance of data.\n",
    "\t- ISO/IEC 25024 | Systems and software Quality Requirements and Evaluation (SQuaRE)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cbc658ae",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- ISO/IEC 11179 | metadata management.\n",
    "- ISO/IEC 25012 | Data quality model*.\n",
    "    - *La Norma ISO/IEC 25012 enumera las características de la calidad de los datos de la siguiente manera: exactitud, completitud, consistencia, credibilidad, actualidad, accesibilidad, conformidad, confidencialidad, eficiencia, precisión, trazabilidad, comprensibilidad, disponibilidad, portabilidad y recuperabilidad."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f6e172e3",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- En el portal Datos.gob.es <https://datos.gob.es/es/documentacion/normas-tecnicas-para-un-correcto-gobierno-del-dato> se encuentra valiosa información sobre el tema:\n",
    "    - Un artículo sobre las distintas normas técnicas a considerar a la hora de desarrollar un gobierno del dato efectivo.\n",
    "    - El informe \"Estándares para la economía del dato\"(2)\n",
    "    - Una infografía con las normas técnicas para un correcto gobierno del dato publicados por la Asociación Española de Normalización (UNE)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7015fb03",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Benificios aportados por el Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "143713e1",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- La importancia de la analítica de Big Data ha aumentado junto con la variedad de datos no estructurados que pueden ser analizados para obtener información: \n",
    "    - Contenido de las redes sociales, textos, *clickstream data*. \n",
    "    - Sensores del Internet de las cosas (IoT)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "78cabec2",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Esto permite:\n",
    "    - Reducir costes.\n",
    "    - Descubrir maneras más eficientes de hacer negocios.\n",
    "    - Crear nuevos productos y servicios que el cliente quiere y necesita.\n",
    "    - Mejorar la toma de decisiones."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0fe58545",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: What is Big Data?. Oracle. <https://www.oracle.com/big-data/what-is-big-data.html>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "495c9417",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## El paradigma Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "b0de2f2e-330d-4d9d-8f2f-e5a523a65a12",
   "metadata": {},
   "source": [
    "- En 2005, la cantidad de datos que generaban Facebook, Google, y otros servicos online era enorme.\n",
    "- Para analizarlos, en 2006 algunos ingenieros de Yahoo crearon Hadoop lanzándolo como un projecto Apache open source. \n",
    "- El framework de procesamiento distribuído hizo posible ejecutar aplicaciones Big Data en una plataforma clusterizada con harware de bajo coste. \n",
    "- Por ese entonces las bases de datos NoSQL también comenzaron a popularizarse."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1afda9f5-de9e-4253-8733-88636b241b69",
   "metadata": {},
   "source": [
    "- Esto generó un nuevo paradigma para la gestión y el tratamiento de los datos: Big Data."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4cef1087",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "*El paradigma Big Data consiste en la distribución de sistemas de datos a través de recursos independientes acoplados horizontalmente para lograr la escalabilidad necesaria para el procesamiento eficiente de extensos conjuntos de datos. Con el nuevo paradigma de Big Data, las funciones analíticas se pueden ejecutar en todo el conjunto de datos o incluso en tiempo real en un flujo continuo de datos. El análisis puede incluso integrar múltiples fuentes de datos de diferentes organizaciones.*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fed720fa",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: ISO/IEC JTC 1 Information technology, Big data Preliminary Report 2014. Pág.6."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "db1c3b76",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Características del Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6a638a9b-dc3a-4503-b5f5-73dd08dbe3cb",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Curry et Al. {cite:ps}`Curry2021` enumeran tres \"v\" como características utilizadas para definir los desafíos que enfrenta una solución de Big Data: "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "9dffbb96",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Volumen: \n",
    "    - Procesamiento de grandes volúmenes de baja densidad de datos no estructurados. \n",
    "    - Datos de valor desconocido algunas veces, pero que pueden llegar a ser cientos de terabytes o petabytes de tamaño. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "611ab1bf",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Velocidad: \n",
    "    - Velocidad es la tasa por la cual los datos son recibidos y (tal vez) manipulados."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "985ba0fb",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Variedad: \n",
    "    - Varios tipos de datos no estructurados y semiestructurados que están disponibles para ser tratados como texto, audio, video, IoT data, etc."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "64cc45f6",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- A su vez el NIST Big Data interoperability Framework (NBDIF) - Version 3.0 Final {cite:ps}`249226` agrega otra \"v\": "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "8cf2d0d8",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Variabilidad:\n",
    "    - Los cambios en el *dataset* (formato/estructura, volumen, flujo de datos) impactan en su procesamiento."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e9a19b15",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Otras V del Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "788eed78",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Valor: \n",
    "    - Los datos tienen un valor intrínseco. Pero no tienen ninguna utilidad hasta que ese valor no sea descubierto.\n",
    "- Veracidad: \n",
    "    - Si los datos son confiables y hasta que punto."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7ad08e88",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: What is Big Data?. Oracle. <https://www.oracle.com/big-data/what-is-big-data.html>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4eb20ef5",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Tipos de datos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7f7a089a-b480-418c-8126-f294e0bea91f",
   "metadata": {},
   "source": [
    "- Los tipos de datos se pueden dividir en:"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1b73dfe9",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Datos estructurados (modelo relacional de datos): \n",
    "    - Datos que están guardados en bases de datos relacionales. \n",
    "- Datos no estructurados (no tienen un modelo predefinido de datos): \n",
    "    - Ejemplos incluyen texto, video, audio, actividad en el smartphone, actividad en las redes sociales, imágenes satelitales, imágenes de vigilancia.\n",
    "- Datos semiestructurados (*datasets* en formato XML o JSON): \n",
    "    - Los documentos de bases de datos NoSQL también son considerados semiestructurados porque contienen palabras claves que pueden ser usadas para procesarlos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "87fe5cd9-5983-4964-96e3-131998b05008",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "Fuente: {cite:ps}`Skiena2017`."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bdb5ec05",
   "metadata": {},
   "source": [
    "- Para mayor información sobre los tipos de datos existe la norma ISO/IEC 11404:2007 (*International Organization for Standardization / International Electrotechnical Commission*) *General Purpose Datatypes.*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ded0f15c",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Historia del Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7299983b",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Los grandes data sets comenzaron en los '60 y '70 del siglo pasado con los primeros centros de datos y el desarrollo de las bases de datos relacionales (lenguaje SQL)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3833c8b6",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Inmon acuñó el término *data warehousing* promoviendo la construcción, uso y mantenimiento de *data warehouses* para el almacenamiento de datos. \n",
    "- Escribió el libro \"Building the Data Warehouse\" (1992, con ediciones posteriores) y \"DW 2.0: The Architecture for the Next Generation of Data Warehousing\" (2008).\n",
    "    - Fuente: Wikipedia. <https://en.wikipedia.org/wiki/Bill_Inmon>. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "756d067b",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Hoy se cuenta con la escalabilidad y elasticidad de *cloud data warehouses* y *data lakes*:\n",
    "    - Snowflake (*cloud data warehouse*).\n",
    "    - Databricks (*data lake*).\n",
    "    - Amazon Redshift / EMR.\n",
    "    - Google BigQuery / Dataproc.\n",
    "    - Azure SQL Data Warehouse (SQL DW) / HD Insights."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "57eb785f",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Data Warehouses / Data Lakes / Lakehouses"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6e43b82c-b8ce-476a-9740-a693823eda7c",
   "metadata": {},
   "source": [
    "- La diferencia a grandes rasgos entre los lagos de datos y los almacenes de datos es: "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "41d3f045",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Los Lagos de datos (*Data lakes*) son grandes repositorios de datos sin procesar en una variedad de formatos, que son de bajo coste y escalables pero que en principio no soportan transacciones, calidad de datos, etc. (ML).\n",
    "- Los Almacenes de datos (*Data warehouses*) por otro lado, contienen datos estructurados y capacidad de realizar transacciones y gobernanza. (BI)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f9cede4b-ab2b-4fda-b04a-ed456cc90047",
   "metadata": {},
   "source": [
    "- Delta Lake <https://delta.io/> por otro lado, es un framework de almacenamiento de código abierto que permite crear una arquitectura *Lakehouse* sobre un lago de datos para proporcionar procesamiento de datos en tiempo real y por lotes."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "324cf4dc",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Apache Hadoop y Apache Spark"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6635a6c7",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- El desarrollo de frameworks open-source, como Hadoop y Spark, fue esencial para el crecimiento de Big Data ya que facilitaron formas de trabajo más dinámicas y almacenamiento de grandes volúmenes de datos de forma más económica."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4d25c3bb",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Actualmente los proveedores de plataformas en la nube permiten a cualquier organización montar una estructura para análisis con Hadoop o con herramientas propias, e utilizarla bajo demanda."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "786fecb5",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Forbes' Big data landscape: <http://www.forbes.com/sites/davefeinleib/2012/06/19/the-big-data-landscape/>.\n",
    "- Matt Tuck's Data & AI landscape 2019: <https://mattturck.com/data2019>.\n",
    "- Matt Tuck's Data & AI landscape 2021: <https://mattturck.com/data2021/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e9918909",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Casos de uso de Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "17adba15",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Agricultura \n",
    "    - Seguimiento de cultivos.\n",
    "    - Optimización de equipamiento. \n",
    "    - Agricultura de precisión."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "92ae9b16",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Telecomunicaciones \n",
    "    - Predicción del *churn*.\n",
    "    - Optimización de la red.\n",
    "    - Segmentación."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eb3304da",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Utilidad pública (*utilities*) \n",
    "    - Predicción del *churn*. \n",
    "    - Optimización de la red.\n",
    "    - Personalización de tarifas."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d77531a9",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: Databench Europe <https://www.databench.eu/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "1f89507b",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Industria de la aviación\n",
    "    - Las líneas aéreas colectan una gran cantidad de datos como preferencias de vuelos de los clientes, control del tráfico aéreo, gestión de equipajes, mantenimiento de las aeronaves, rutas de vuelo, y más.\n",
    "    - Big Data provee nuevas perspectivas para optimizar las operaciones y brindar un mejor servicio al cliente."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "486d0928",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Sector bancario\n",
    "    - La inmensa cantidad de datos estructurados y no estructurados que las instituciones financieras obtienen les permiten tomar decisiones más certeras.\n",
    "    - Ellas también pueden prevenir fraudes utilizando Big Data analytics."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d9f31af1",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Sector de la salud\n",
    "    - Investigadores intercambian gran cantidad de datos de manera nunca antes vista y cooperan para entender COVID-19 y desarrollar un modelo para tratar las enfermedades más allá de la pandemia del coronavirus."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "69baf8a0",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: Big Data and Collaboration Seek to Fight COVID-19.     \n",
    "https://www.the-scientist.com/news-opinion/big-data-and-collaboration-seek-to-fight-covid-19-67759"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "0f90c48b",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Sector manufacturero\n",
    "    - Big Data analytics le permite a la industria entender mejor como su propia cadena de valor funciona. \n",
    "    - Es usado también para el mantenimiento preventivo del equipamiento industrial.\n",
    "    - La industria 4.0 tiende al uso intensivo de IA en todos sus procesos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f14c26e0",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: BCG. <https://www.bcg.com/publications/2016/leaning-manufacturing-operations-factory-of-future.aspx>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f34f5646",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Venta minorista\n",
    "    - Con Big Data analytics, los vendedores minoristas pueden entender mejor las preferencias y el comportamiento de sus clientes, sus hábitos de compra; y predecir tendencias."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "08e5a435",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Ciencia\n",
    "    - *Los investigadores de todas las disciplinas consideran que la capacidad recién descubierta de vincular y cruzar datos de diversas fuentes mejora la precisión y el poder predictivo de los hallazgos científicos y ayuda a identificar futuras direcciones de investigación, lo que en última instancia proporciona un punto de partida novedoso para la investigación empírica.*"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ec778489",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: Leonelli, Sabina, \"Scientific Research and Big Data\", The Stanford Encyclopedia of Philosophy (Summer 2020 Edition), Edward N. Zalta (ed.), URL = <https://plato.stanford.edu/archives/sum2020/entries/science-big-data/>. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "91bd1e46",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- *Cuando comencé a contratar Ph.D. estudiantes hace 15 años, eran completamente laboratorios húmedos,* dice Corcoran. *Ahora, cuando los reclutamos, lo primero que buscamos es si pueden hacer frente a análisis bioinformáticos complejos*.\n",
    "- Para ser un biólogo, hoy en día, se necesita tener conocimientos de estadística y programación.\n",
    "- Se necesita saber trabajar con algoritmos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cbbd267d",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: Phys.org. How big data is changing science. <https://phys.org/news/2018-10-big-science.html/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ee81a714",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Buenas prácticas para Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cfd30d1f",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Big Data analytics utiliza datos tanto de fuentes internas como externas.\n",
    "- Los datos deben ser estar organizados y gestionados para obtener un óptimo rendimiento."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "65e29bbe",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Bases de datos basadas en columnas están optimizadas para los trabajos analíticos intensivos de lectura.\n",
    "    - *Online Analytical Processing (OLAP)*.\n",
    "- Bases de datos basadas en filas son mejores para trabajos intensivos de escritura transaccional.\n",
    "    - *Online Transactional Processing (OLTP)*."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "7c25775a",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Para el análisis de Big Data en tiempo real, se utiliza un motor de procesamiento de flujo de datos como Spark a través de un almacén de datos (*data warehouse*).\n",
    "- Para los datos sin procesar (*data lake*) se utiliza Hadoop y su HDFS (*Hadoop Distributed File System*)."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "675198df",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Alinear Big Data con los objetivos específicos del negocio.\n",
    "- Aliviar la escasez de habilidades con estándares y gobernanza.\n",
    "- Optimizar la transferencia de conocimiento mediante un centro de excelencia."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "2fccf0c1",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Lo mejor es alinear datos no estructurados con estructurados.\n",
    "- Planificar su estructura de Big Data para el rendimiento.\n",
    "- Alinear con el modelo de operaciones en la nube."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f8098436",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Fuente: What is Big Data?. Oracle. <https://www.oracle.com/big-data/what-is-big-data.html>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e42df12c",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Tipos de análisis de datos en Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "497ce4da",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Análisis descriptivo: Provee nuevas perspectivas en datos históricos.\n",
    "- Análisis predictivo: Provee nuevas perspectivas en datos futuros.\n",
    "- Análisis prescriptivo: Provee informes analíticos con recomendaciones para el futuro."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4aeea3bd",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Análisis descriptivo"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "e479d622",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Minería de datos (*Data mining*): Se utiliza para filtrar conjuntos de datos en busca de patrones y relaciones."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "af9db2fd",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- ¿Qué hay en los datos?\n",
    "    - Asociación.\n",
    "    - Análisis exploratorio.\n",
    "    - Segmentación.\n",
    "    - *Clustering* (no supervisado): agrupar los datos en categorías basadas en alguna medida de similitud o distancia.\n",
    "    - Reducción de la dimensión: proceso de reducción del número de variables aleatorias que se tratan."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "d9501b88",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Análisis predictivo"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f66dd791",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Construir modelos para prever el comportamiento del cliente.\n",
    "- ¿Cuál será la salida de una nueva entrada?\n",
    "    - Regresión logística: predice el resultado de una variable categórica en función de las variables independientes.\n",
    "    - Análisis de varianza y covarianza.\n",
    "    - Métodos bayesianos.\n",
    "    - Elección de un modelos: Comparar, validar y elegir modelos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "498e7a71",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Clasificación estadística (aprendizaje supervisado): identificar a que conjunto de categorías pertenece una nueva observación. \n",
    "    - Discriminante.\n",
    "    - Redes neuronales.\n",
    "    - Árboles de decisión."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "fa31094f",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Biblioteca para Python: <https://scikit-learn.org/stable/>.\n",
    "- Knime: <https://www.knime.com/>.\n",
    "- Lenguaje R: <https://www.r-project.org/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eb98ca29",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Análisis prescriptivo"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "29d9f5dc",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- ¿Qué acción se debe tomar en base a estos datos?\n",
    "    - Optimización: estudio de desafíos en los que es posible construir modelos matemáticos para representarlos.\n",
    "    - Inferencia causal: estudio de sistemas donde se sospecha que la medida de una variable afecta la medida de otra."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ebaa6803",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- *Machine learning*: \n",
    "    - Programación de algoritmos para analizar grandes volúmenes de datos.\n",
    "- *Deep learning*: \n",
    "    - Algorimos que pueden determinar la precisión de una predicción por sí mismos."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "433fb9e2",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Big Data analytics y Business Intelligence"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "67e338e5",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Business Intelligence se basa en datos estructurados en un *datawarehouse* y puede mostrar qué y dónde ocurrió un evento.\n",
    "- El análisis de Big Data utiliza conjuntos de datos estructurados y no estructurados encontrando relaciones mientras explica por qué sucedieron los eventos.\n",
    "- También puede predecir si un evento volverá a ocurrir."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3eaef331",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Fuentes libres de datos"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "a909590f",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- <https://www.data.gov/>\n",
    "- <https://www.census.gov/data.html>\n",
    "- <https://data.gov.uk/>\n",
    "- <http://data.europa.eu/euodp/en/data/>\n",
    "- <https://developers.facebook.com/docs/graph-api>\n",
    "- <https://www.healthdata.gov/>\n",
    "- <http://content.digital.nhs.uk/home>\n",
    "- <https://www.wikidata.org/wiki/Wikidata:Main_Page>\n",
    "- <https://www.google.com/finance>\n",
    "- <http://aws.amazon.com/datasets/>"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "bf445b3b",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## ASF: Herramientas para Big Data"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "de334312-f5f6-4c70-ae0c-ce6c69ae1e08",
   "metadata": {},
   "source": [
    "- La ASF (*Apache Software Foundation*) <https://apache.org/> desarrolla, administra e incuba cientos de proyectos de código de fuente abierta (*open source*) de nivel empresarial utilizados mundialmente.\n",
    "- Actualmente administra más de 70 proyectos relacionados con Big Data <https://projects.apache.org/projects.html?category#big-data>. \n",
    "- Entre ellos, se pueden mencionar Hadoop para el procesamientos en lotes (*batch processing*) de grandes conjuntos de datos, Spark para procesamiento *in-memory* de datos y analítica, Kafka para la ingesta de datos en tiempo real y *streaming*; y Cassandra o HBase para el almacenamiento NoSQL escalable de datos.\n",
    "- El blog de la ASF se encuentra en <https://news.apache.org/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "6244c581",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Apache Hadoop"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "758a75a9",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- El proyecto Apache™ Hadoop® desarrolla software de código abierto para computación distribuida, escalable y confiable."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "35821661",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- Extraído de: Apache Hadoop Docs & website: <https://hadoop.apache.org/>. "
   ]
  },
  {
   "cell_type": "markdown",
   "id": "12baac03",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Es un framework para el procesamiento distribuido de grandes conjuntos de datos en grupos de computadoras que utilizan modelos de programación simples.\n",
    "- Diseñado para escalar desde servidores individuales a miles de máquinas, cada una de las cuales ofrece computación y almacenamiento locales."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "4cce228b",
   "metadata": {
    "slideshow": {
     "slide_type": "fragment"
    }
   },
   "source": [
    "- En lugar de depender del hardware para brindar alta disponibilidad, la biblioteca en sí está diseñada para detectar y manejar fallas en la capa de la aplicación, por lo que brinda un servicio de alta disponibilidad sobre un grupo de computadoras, cada una de las cuales puede ser propensa a fallas."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "45c757ff-6d58-4404-9755-eaa1b9022269",
   "metadata": {
    "tags": []
   },
   "source": [
    "Fuente: {cite:ps}`Turkington2013`"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "eb840625",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "## Módulos de Apache Hadoop"
   ]
  },
  {
   "cell_type": "markdown",
   "id": "5fb8f7d8",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Apache Hadoop cuenta con una serie de módulos que le permiten extender sus funcionalidades.\n",
    "- Los más utilizados son *Hadoop Common, HDFS, YARN y MapReduce*."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "246e9036",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Hadoop Common: \n",
    "    - Las *common utilities* que soportan los otros módulos de Hadoop.\n",
    "- Hadoop Distributed File System (HDFS™): \n",
    "    - Un sistema de archivos distribuido que proporciona acceso de alto rendimiento a los datos de la aplicación.\n",
    "    - <https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-hdfs/HdfsDesign.html/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "3406c42c",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Hadoop YARN\n",
    "    - Un framework para *job scheduling* y gestión de recursos de los clusters. \n",
    "    - Tecnología de gestión de clústeres en Hadoop de segunda generación.\n",
    "    - Extraído de: <https://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-site/YARN.html/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "ee90d9df",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- MapReduce\n",
    "    - Un sistema basado en YARN para el procesamiento en paralelo de grandes volúmenes de datos.    \n",
    "    - Este framework procesa cantidades masivas de datos no estructurados en paralelo en un clúster distribuido.\n",
    "    - Extraído de: <https://hadoop.apache.org/docs/r1.2.1/mapred_tutorial.html>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "f639c333",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- The Hadoop Ecosystem Table\n",
    "- <https://hadoopecosystemtable.github.io/>."
   ]
  },
  {
   "cell_type": "markdown",
   "id": "cbd2ada3",
   "metadata": {
    "slideshow": {
     "slide_type": "slide"
    }
   },
   "source": [
    "- Soluciones Hadoop:\n",
    "    - Cloudera Data Platform <https://www.cloudera.com/>.\n",
    "    - Hortonworks (Adquirida por Cloudera).\n",
    "    - Amazon ERM <https://aws.amazon.com/es/emr/>.\n",
    "    - Google Dataproc <https://cloud.google.com/dataproc/>.\n",
    "    - Microsoft HDInsight <https://azure.microsoft.com/es-es/services/hdinsight/>."
   ]
  }
 ],
 "metadata": {
  "celltoolbar": "Slideshow",
  "kernelspec": {
   "display_name": "Python 3 (ipykernel)",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.10.12"
  },
  "toc": {
   "base_numbering": 1,
   "nav_menu": {},
   "number_sections": true,
   "sideBar": true,
   "skip_h1_title": false,
   "title_cell": "Table of Contents",
   "title_sidebar": "Contents",
   "toc_cell": false,
   "toc_position": {},
   "toc_section_display": true,
   "toc_window_display": false
  },
  "widgets": {
   "application/vnd.jupyter.widget-state+json": {
    "state": {},
    "version_major": 2,
    "version_minor": 0
   }
  }
 },
 "nbformat": 4,
 "nbformat_minor": 5
}