- 多写包括的动作:增/删/改
- 实现方式
1. 【同步双写】接收json,同步多写到各中间件中
2. 【数据抽取】接收json,存mysql,并根据时间戳/版本号判断新增数据(or记录数据id在增量表),定时任务扫增量表处理后同步到各中间件
(暂无)3. 【异步双写】接收json,存mysql,并记录数据到生产队列中,通过异步消费写入各中间件
(暂无)4. 【数据订阅】接收json,存mysql,根据binlog获取增量数据同步到各中间件
(暂无)5. 【暴力同步】接收json,存mysql,定时任务全量扫表,全量对比各中间件数据,数据多退少补
- MidWare: 双写引擎代码 & 应用启停脚本
- scripts: 中间件部署脚本 & 系统清理脚本
# 关系型数据库
Mysql/PostgreSql/TiDB
# 文档数据库
MongoDB
# 弹性搜索
ElasticSearch->highlevel
- 索引库[index]-->Database 数据库
- 类型[type]-->Table 数据表
- 文档[Document]-->Row 行
- 字段[Field]-->Column 列
- 映射[mapping]-->表结构
# K-V数据库
Redis→redission(见MicroServices_SpringV2)
Etcd
# 文件/对象/图片存储
Hdfs
MinIO
FastDFS(见MicroServices_SpringV2)
# 图数据库
Neo4j
# 消息队列
Kafka(见MicroServices_SpringV2)
# 分布式协调中心
ZooKeeper(见MicroServices_SpringV2)
# 大数据计算
Spark(暂无)