Skip to content

Releases: ICT-BDA/EasyML

Release-1.2.0

02 Apr 03:34
Compare
Choose a tag to compare

EasyML 1.2.0版本,加入了Tensorflow的单机、分布式的支持,同时对一些bug进行了修复。该版本具体细节功能和改进如下:

Docker集群版本更新

安装包

镜像获取

  • Mysql镜像

docker pull nkxujun/mysql_eml:1.2.0

  • Ubuntu镜像:

docker pull nkxujun/ubuntu_eml:1.2.0

更新内容

  • Tensorflow支持: ubuntu镜像内置tensorflow 1.3.0版本,提供tensorflow并行模式一键配置脚本。支持tensorflow的数据并行与模型并行

  • 新增Tensorflow模型并行示例:以深度学习常用数据集mnist为例,采用CNN Tensorflow模型并行方式解决手写字识别问题

  • 新增Tensorflow数据并行示例:以深度学习常用数据集mnist为例,采用CNN Tensorflow数据并行方式解决手写字识别问题

  • 脚本修正:修正运行脚本中部分单词拼写错误问题

  • 更换示例数据上传方式:修改upload-hdfs.sh脚本,移除单个数据、程序数据的上传模式,采用批量数据上传方式。(此前为一个程序一个程序上传)

EasyML 项目更新

新特性

  • Tensorflow类型支持:支持程序上传类型为Tensorflow,同时提供单机、数据并行、模型并行三种运行方式

  • Directory类型支持:用户的输入及输出提供Directory类型,在上传程序的命令行中添加输入输出参数时可进行选择

功能改进

  • 修复数据库表添加新字段,导致原有数据无法删除问题

  • 修复上传程序成功后,点击所上传程序,无法立即显示在画布问题

  • 修复部分日志无法显示问题

  • 权限修改:删除examples任务只能在examples面板中删除,不能在个人任务中删除

  • 示例任务添加CNN_tensorflow(模型分布)和CNN_tensorflow(数据分布)。 该示例为深度学习的入门示例,采用mnist数据集,以Tensorflow CNN为训练模型 解决手写字识别问题

其他

  • tensorflow模型分布与数据分布内置脚本(用户可通过该脚本进行自行搭建Tensorflow环境)
  • mysql脚本更新

Release-1.1.0

20 Oct 01:46
Compare
Choose a tag to compare

EasyML 1.1.0版本,加入了较多的新特性,同时对代码及注释进行了进一步的规范,建议对新特性感兴趣的用户可以升级到该版本进行体验。该版本具体细节功能和改进如下:

Docker集群版本更新

安装包

镜像获取

  • Mysql镜像

docker pull nkxujun/mysql_eml:1.1.0

  • Ubuntu镜像:

docker pull nkxujun/ubuntu_eml:1.1.0

更新内容

  • Spark版本: Spark版本从原来2.0.1 替换为 1.6.12.0.1版本不支持内置ETL算法组件)

  • 新增Titanic Demo示例:增加Kaggle竞赛中的Titanic Demo,用户可从该示例中看到新特性的示例

  • Python支持: ubuntu镜像内置python 2.7版本

  • Tensorflow支持: ubuntu镜像内置tensorflow 1.3.0版本

  • Mysql数据库: Mysql镜像新增test数据库,方便用户进行ETL功能测试。studio数据库新增moduleversion表,用于程序与数据的版本管理

  • 脚本修正:修正运行脚本中部分单词拼写错误问题

EasyML 项目更新

新特性

  • ETL组件。 支持Mysql、Hive数据库的数据读取与写入
  • 可编程脚本。 用户可在组件上添加python、shell脚本。组件入口:通过上传程序,选择程序类型为可编程脚本。
  • 数据可视化。 用户可针对任务模块执行结果进行可视化,目前可视化支持数据类型包括:CSV、TSV、Json。
  • 历史运行记录查看。 用户可在绘图区查看当前任务的历史运行记录,可对历史运行记录进行查看与管理。
  • 后台管理查询。 具有管理员权限的用户可在后台管理进行特定条件下的数据的查询。

功能改进

  • 示例任务添加删除权限管理
  • 示例任务添加Titanic Demo。 该示例为Kaggle竞赛中的赛题,用来进行titanic灾难生还预测。EasyML 1.1.0版本的新特性在该示例中有所体现

其他

  • 统一代码格式
  • 代码注释补充与完善
  • mysql脚本更新

Release-1.0.0

20 Oct 01:48
Compare
Choose a tag to compare

EasyML 1.0.0版本,是基于初始发布版本的优化版本,该版本修复了诸多初始发布版本的Bug。同时集群搭建提供了支持windows/mac安装的docker简化版本安装包,供机器内存小的用户安装使用。具体细节功能和改进如下:

Docker集群版本更新

安装包

镜像获取

  • Mysql镜像

docker pull nkxujun/mysql_eml:1.0.0

  • Ubuntu镜像:

docker pull nkxujun/ubuntu_eml:1.0.0

更新内容

  • 修复通过Eclipse或IDEA 开发者模式连接集群,提交任务失败问题
  • 修复Mysql数据库插入中文乱码问题
  • mysql容器添加开机自启动支持

EasyML 项目更新

Bug修复

  • 修复Double类型在GWT中转成Int类型解析失败问题
  • 修复部分用户反馈系统部署后无法登入问题,更换xml-apis.jar版本
  • 修复IDE环境下提交job失败问题(无法与docker的hadoop集群进行数据交互)
  • 修正一些国际化中文乱码问题

功能改进

  • 移除上传程序过程中生成describe.xml的模块,该文件在后续版本中均无作用
  • 修改第三方库(不在maven仓库中的包)在工程中的引用模式
  • 将工程依赖hadoop版本2.2.0.2.0.6.0-102 改为2.2.0;将依赖的oozie版本
    4.0.0.2.0.6.0-102 改为 4.1.0