Skip to content

Version 2.6.1

Compare
Choose a tag to compare
@huemulDeveloper huemulDeveloper released this 19 Aug 00:41
· 29 commits to master since this release
f39e89e
  • #119. Simplifica métodos DataLake
    Se implementan los siguientes métodos para definir la estructura de archivos raw:
val dataLakeConfig: huemul_DataLakeSetting = new huemul_DataLakeSetting(huemulLib)
     .setStartDate(2010,1,1,0,0,0)
     .setEndDate(2050,12,12,0,0,0)
     //Path & names
     .setGlobalPath(huemulLib.GlobalSettings.RAW_BigFiles_Path)
     .setLocalPath("local_path/")
     .setFileName("fileName_{{YYYY}}{{MM}}{{DD}}.txt")
     .setFileType(huemulType_FileType.TEXT_FILE)
     .setContactName("user name")
     //Data
     .setColumnDelimiterType(huemulType_Separator.CHARACTER)
     .setColumnDelimiter("\\|")
     .addColumn("periodo", "periodo", StringType,"periodo de los datos")
     .addColumn("empresa", "empresa", StringType,"Nombre de la empresa")
     .addColumn("app", "app", StringType,"Canal utilizado")
     .addColumn("producto", "producto", StringType,"nombre producto")
     .addColumn("cantidad", "cantidad", IntegerType,"Cantidad")
     .addColumn("precio", "precio", IntegerType,"Precio")
     //Header
     .setLogNumRowsColumnName(null)
       .setHeaderColumnDelimiterType(huemulType_Separator.CHARACTER)
       .setHeaderColumnDelimiter("\\|")
       .setHeaderColumnsString("VACIO")
  • #111. JDBC Url does not support % character in the password
    Se agregan dos métodos en la clase huemul_KeyValuePath que permiten asignar un userName y password a la conexión al modelo de control. Con esto se puede elegir entre enviar usuario y password por el connectionString, o usando estos nuevos métodos

A modo de ejemplo, los métodos se usan de la siguiente forma.

   Global.CONTROL_Setting.append(new huemul_KeyValuePath("production",controlConnString)
     .setUserName(controlUserName)
     .setPassword(controlPassword)
   )
  • #99. Capturar los parámetros de spark en la ejecución de procesos
    Se cea tabla "control_processexecenv" que almacena los parámetros de ejecución de spark.

  • #54. Actualizar versión de spark en dependencias POM
    Se actualizan dependencias antiguas.