腾讯云 CKafka 联合云函数重磅上线 DataHub，让数据流转更简便

Serverless - 2021-12-31 13:04:05

随着大数据时代的到来，各大互联网公司对于数据的重视程度前所未有，各种业务对数据的依赖也越来越重。有一种观点认为大数据存在 “3V” 特性：Volume, Velocity, Variety。这三个 “V” 表明大数据的三方面特征：量大，实时和多样。这三个主要特征对数据采集系统的影响尤为突出。多种多样的数据源，海量的数据以及实时高效的采集是数据采集系统主要面对的几个问题。

我们想要在数据上创造价值，首先要解决数据获取的问题。因为在互联网发展中，企业内或不同企业之间建立了各种不同的业务系统，这些系统产生的数据也都是互不相通的，要想实现数据的互通与融合，在数据的获取与处理上就需要下很大功夫。

01. 腾讯云 CKafka 重磅上线 DataHub

腾讯云消息队列 CKafka 正式上线数据中心接入服务模块 DataHub。DataHub 具有强大的数据接入及分析处理的功能，可以从 App、Web、MongoDB 等数据源中进行持续不断的数据采集，存储和处理，并得到各种实时的数据处理结果，可用于日志分析、网页活动追踪、IoT 分析应用等。

现今数据处理系统大体上可分为离线处理系统和在线处理系统。CKafka 推出 Datahub 数据中心接入服务模块，负责直接从业务数据源获取数据，进行一些数据预处理工作，分发给离线 / 在线处理平台，构建数据源和数据处理系统间的桥梁，将数据处理系统同业务侧的数据源解耦。

02. DataHub 产品优势

DataHub 基于 CKafka 的数据处理能力，具有高稳定、实时性、高扩展性、高安全性等优势：

高稳定

基于消息队列 CKafka 分布式的部署，稳定性有很好的保障。

实时性

数据采集实时高效的同时还可以进行实时处理。

高扩展性

支持集群水平扩容，实例无缝升配，底层系统根据业务规模自动弹性伸缩，上层业务无感知。

高安全性

不同租户间网络隔离，实例的网络访问在账户间天然隔离。支持管理流的 CAM 鉴权及数据流的 SASL 权限控制，严格控制访问权限。

上下游生态融合

支持与 EMR、COS、容器、流计算、云函数、日志服务等 13+ 云上产品资源，实现快速一键部署。

统一运维监控

提供腾讯云平台整套的运维服务，包括租户隔离、权限控制、消息堆积查询、消费者详情查看等多维度监控告警等运维服务。

03. DataHub 应用价值

CKafka 是一个分布式、高吞吐量、高可扩展性的消息系统，基于发布/订阅模式，通过消息解耦，使生产者和消费者异步交互，具有数据压缩、同时支持离线和实时数据处理等优点。DataHub 作为 CKafka 的一个功能模块，可以帮助用户以 CKafka 为入口，通过简单的界面化配置，即时连接到常用的数据源和接收器，打包各个场景的解决方案，实现实时数据通道、实时数据清洗和分析的功能。

在实际应用中，DataHub 实时接入各种数据源产生的不同类型的数据，用户可以将多个数据源的数据投递到同一个 Topic 中，统一管理，经过简单的数据处理，并投递到下游的数据处理系统，形成清晰的数据流，更好地释放数据的价值。