Home

Documentación Huemul BigData-Governance !

En esta wiki estará disponible la documentación de las clases que componen la librería BigDataGovernance de Huemul BigData.

La librería está compuesta por múltiples clases, la utilización y ejemplos está detallado en cada una de las páginas que definen las clases,

huemul_BigDataGovernance : es la clase inicial de la librería Huemul Big Data Governance. Esta clase expone atributos y métodos relacionados a spark, y utilitarios de uso común en cualquier proyecto BigData.

huemul_Control: es la clase que posibilita la integración del desarrollo con el gobierno de datos. Control registra todas las definiciones de tablas y datalake en un diccionario de datos en PostgreSQL. Por otro lado genera un registro de actividad en la ejecución de los procesos, identificando automáticamente la trazabilidad del datalake y las tablas.

huemul_DataFrame: es una extensión de los DataFrame de Spark. Esta clase expone atributos y métodos relacionados a la implementación de DataQuality.

huemul_Table: permite definir una estructura de tabla en BigData. La definición se hace en forma similar a la definición de una clase, y conceptualmente tiene los mismos principios que una tabla tradicional, pero con las ventajas de definir el almacenamiento en HDFS, y la conexión con Hive