JDP Core Data

如果当前你的数据分析团队陷入了如下的困惑：

• Hadoop生态圈复杂的技术栈
• 超高的学习成本与投入收效甚微
• 是否有一栈式方案，简单易上手
• 超大数据集处理，效率低下
• 海量数据流动，处理维护成本高昂
• 多平台数据融合，运维开发成本高

那么，恭喜你，JDP统一分析平台，是非常适合你的。

JDP统一分析平台是一套高性能实时数据处理解决方案，底层构建在分布式数据库，分布式数据处理引擎。

我们的接入流程是：

# 1. 数据评估

如果你想直接把自己的业务接入JDP平台，那么需要首先评估业务的数据量，建立JDP集群。主要包括 数据量级 ， 数据增量及响应延迟。

无副本：

集群规模N=((总数据量+总增量)+0.2*(总数据量+总增量))/48T

N = 18 node

2副本：

集群规模N=(((总数据量+总增量)+0.2*(总数据量+总增量)))*2/48T

N = 33 node

3副本：

集群规模N=(((总数据量+总增量)+0.2*(总数据量+总增量)))*3/48T

N = 50 node

# 2. 分析场景

目前JDP统一分析平台，主要场景是高性能OLAP场景，未来考虑HTAP混合型场景，同事支持OLAP & OLTP的分布式数据库产品。

# 2. 业务迁移

[1] 历史库可直接同步通过remote表实现，TB级高效率传输。

[2] MySQL数据库binlog，实时同步，支持Change Data Capture (CDC)

[3] Kafka Topic海量实时数据接入

[4] 标准化数据协议，分布式多节点数据加载

[5] 实时数据可视化系统，支持主流数据库

[6] 简单易用的的数据融合引擎，实现数据秒级转化