CloudEon是一款基于kubernetes的开源大数据平台,旨在为用户提供一种简单、高效、可扩展的大数据解决方案。该平台致力于简化多种大数据服务在kubernetes上的部署和管理,如Hadoop、Doris、Spark、Flink、Hive、Kafka等,能够满足不同规模和业务需求下的大数据处理和分析需求。
项目相关介绍,使用,最佳实践等相关内容,都会在官方文档呈现,如有疑问,请先阅读官方文档,以下列举以下常用快链。
-
🚀 快速搭建大数据集群:通过
CloudEon
,用户可以在kubernetes上快速搭建部署hadoop集群、doris集群等大数据集群,省去了手动安装和配置的繁琐过程。 -
🐳 容器化运行所有大数据服务:
CloudEon
将所有大数据服务都以容器方式运行,使得这些服务的部署和管理更加灵活和便捷,同时也能更好地利用kubernetes的资源调度和管理能力。 -
📈 支持监控告警等功能:
CloudEon
提供了监控告警等功能,帮助用户实时监控集群运行状态,及时发现和解决问题。 -
🔧 支持配置修改等功能:
CloudEon
还提供了配置修改等功能,使得用户能够更加灵活地管理和配置自己的大数据集群。 -
🤖 自动化运维:
CloudEon
通过自动化运维,能够降低集群管理的难度和人力成本,同时也能提高集群的可用性和稳定性。 -
👀 可视化管理界面:
CloudEon
提供了可视化的管理界面,使得用户能够更加直观地管理和监控自己的大数据集群 -
🔌 灵活的扩展性:提供了插件机制,让用户可以自定义拓展和安装更多的大数据服务。这个插件机制是基于开放API和标准化接口实现的,可以支持用户快速开发和集成新的服务。
-
📊 多种大数据服务支持:除了hadoop和doris,
CloudEon
还支持其他多种大数据服务的部署和管理,如Spark、Flink、Hive、Kyuubi等。
页面功能概览:
容器化设计可以很好地屏蔽操作系统细节,提高隔离性,并在构建过程中提前安装依赖的外部环境和工具,从而使得后续的服务可以在不同的服务器环境中运行。
在研究Hadoop on Kubernetes时,我们采用了helm完成了服务依赖顺序、配置关联影响和容器编排等工作。我们还整合了Doris(多Fe多Be)、DolphinScheduler、Kyuubi和Spark等服务,并实现了使用一句helm install命令即可正确启动这些相互依赖的服务。
在使用helm + Kubernetes(具体可参考:源码 )来部署管理大数据集群过程中,我们发现这种方法大大减少了部署时间,提高了部署大数据集群的成功率。然而,运维管理的体验不尽人意,因为使用通用型Kubernetes的管理工具来管理大数据服务是不容易的,这需要开发者掌握Pod、Service、Configmap等知识。
对于习惯使用类似Ambari、CM这样的平台的大数据工程师来说,学习成本还是太高了。因此,我们开发了CloudEon,并将其开源。
CloudEon致力于将大数据服务迁移到云上,并帮助大数据生态组件更好地与云原生相融合。
感谢如下优秀的项目,没有这些项目,不可能会有CloudEon:
-
后端技术栈
-
前端技术栈
-
另外特别感谢
- Ambari :参考其对大数据组件的安全管理、可拓展大数据组件包管理
- datasophon :参考其优秀的监控告警体系
- 如果觉得项目不错,麻烦动动小手点个⭐️star⭐️!
- 如果你还有其他想法或者需求,欢迎在issue中交流!
如果你所在公司使用了该项目,烦请在这里留下脚印,感谢支持🥳 点我
- 🦊 Kyuubi:为数据湖查询引擎(例如Spark、Flink或Trino等)提供SQL服务
- 🦄 Doris:简单易用、高性能和统一的分析数据库
- 🐬 DolphinScheduler:分布式和可扩展的开源工作流调度平台
Thanks goes to these wonderful people (emoji key):
Pandas886 💻 |
Mericol 💻 |
Kyofin 🚇 |
mechaelyoung 💻 |
This project follows the all-contributors specification. Contributions of any kind welcome!