Tapdata Connector实用指南:如何将 CRM 数据从 Salesforce 实时同步到MongoDB等其他数据库

Tapdata钛铂Tapdata钛铂 -
Tapdata Connector实用指南:如何将 CRM 数据从 Salesforce 实时同步到MongoDB等其他数据库

【前言】作为中国的 “Fivetran/Airbyte”, Tapdata 是一个以低延迟数据移动为核心优势构建的现代数据平台,内置 60+ 数据连接器,拥有稳定的实时采集和传输能力、秒级响应的数据实时计算能力、稳定易用的数据实时服务能力,以及低代码可视化操作等。典型用例包括数据库到数据库的复制、将数据引入数据仓库或数据湖,以及通用 ETL 处理等。

随着 Tapdata Connector 的不断增长,我们最新推出《Tapdata Connector 实用指南》系列内容,以文字解析辅以视频演示,还原技术实现细节,模拟实际技术及应用场景需求,提供可以“收藏跟练”的实用专栏。本期实用指南将以 Tapdata 新增数据源 Salesforce → MongoDB 为例,演示 Tapdata 能够为 SaaS 类数据源的数据同步需求提供怎样的支持。

CRM(Customer Relationship Management,客户关系管理)类软件的兴起,源于企业对于客户关系管理的理解与需求。起初是市场竞争加剧,让企业开始意识到客户满意度和忠诚度对企业成功至关重要。企业需要充分了解客户偏好,并由此提供更好的产品和服务。而后随着销售流程的复杂化和业务数据的增长,为了进一步优化销售流程,提高销售效率和生产力,实现更好的客户沟通和协作,企业也开始更加依赖 CRM 软件作为企业管理的重要工具。

作为 CRM 软件的经典代表之一,Salesforce 通过将营销、销售、服务和 IT 团队整合到一个平台,成功改变了企业的运作方式。然而,在今天不断变化的数据环境中,想要仅凭 Salesforce “一己之力”来为企业获得最大价值已然远远不够。往往需要将其与一个表现出色的数据库或数仓结合起来,才能激发更强大的分析洞察力,促进企业效益持续增长。

同样密切关注数据价值与 SaaS 产品的 Tapdata,作为自带 ETL 的实时数据平台,也透过社区看到了大量相关的数据迁移需求,已于近日在产品层面实现了对 Salesforce 作为“源”的支持。

一、为什需要从 Salesforce 单兵作战走向组合牌

诚然,Salesforce CRM 已经为企业提供了一套相当全面的解决方案,包括销售自动化、客户服务、营销自动化和协作平台等,并由此帮助企业优化客户关系管理、提高销售效率、加强协作与沟通,以及提供数据分析等功能,从而提升企业的竞争力和业务水平。但并不能适用于所有企业的数据存储和处理需求,因而在单独使用时常会在以下几个方面受到掣肘:

数据量大时性能下降:当数据量达到一定规模时,Salesforce 的性能可能会下降,导致响应时间变慢,用户体验不佳;数据分析功能有限:Salesforce 的数据分析功能相对较弱,不支持大规模数据分析和数据挖掘,对于需要进行深入分析的企业而言,会是个不小的麻烦;限制开发自定义应用:Salesforce 的自定义应用开发受限,需要使用特定的开发语言和框架,不够灵活,开发周期可能较长;访问量受定价模式限制:Salesforce 是按用户收费的,需要购买年度许可证才能开始使用。这样的定价模型可能会对访问和使用数据产生限制,从而影响企业在数据分析和管理方面的能力。企业可能需要在控制成本和提高数据访问灵活性之间进行权衡。

因此,为了充分利用企业数据,可以考虑将 Salesforce 和其他数据库或数据仓库联合使用,像是 MongoDB、BigQuery 等等,不仅可以有效解决上述问题,提高数据处理的效率和精度,通过将 Salesforce 中的数据整合到企业的数据生态系统中,还能实现更全面的数据分析、决策和应用,达到组合优势。

以 MongoDB 为例

大多数情况下,企业需要处理不同种类的数据,例如销售、客户关系、产品、员工和财务数据等。而 Salesforce 则主要用于管理客户关系和销售过程,因此并不能很好地满足企业在其他方面的数据处理需求。而 MongoDB 作为一个面向文档的 NoSQL 数据库,适用于处理半结构化和非结构化数据,且拥有更好的扩展性和灵活性。二者结合可以为企业用户创造价值如下:

更好地管理客户数据:打破 Salesforce 限制,更好地了解客户需求,提高销售效率;更强大的数据处理能力:MongoDB 拥有强大的数据存储和查询能力,能够轻松处理大规模数据的存储和查询,且在大规模半结构化和非结构化数据处理方面表现出色,例如日志、社交媒体数据和传感器数据等,企业由此获得更好的洞察力,从而更好地了解其客户和市场趋势,发掘更多商业机会;数据安全与灵活性保障:一方面,Salesforce 提供了严格的安全控制和访问权限控制,能够保护企业数据的安全。另一方面,MongoDB 的数据模型和查询语言非常灵活,可以适应不同的数据结构和查询需求。

为了达到上述组合优势,我们需要首先实现 Salesforce 数据向包括 MongoDB 在内的数据目标的同步。

二、Salesforce→ MongoDB 的数据同步任务

点击查看演示视频
(*本演示视频版本为 Tapdata 本地部署版)

版本指路:
>>> 点击登录 Tapdata Cloud
>>> 申请试用 Tapdata 本地部署版

操作流程详解(Tapdata Cloud)① 登录 Tapdata Cloud

默认已完成 Tapdata Cloud 账号注册及 Agent 部署,且已拥有 Salesforce 账号并存有一定量的数据,预备将其向其他目标库同步。② 创建数据源 Salesforce 的连接在 Tapdata Cloud 连接管理页面,点击【创建连接】按钮,并在 Alpha 数据源中选择 Salesforce。

输入连接名称,并点击授予令牌。

自动跳转至 Salesforce 登录界面并完成登录

*注意:Salesforce 提供了很多不同版本供用户选择,目前 Tapdata 仅支持:企业版、无限版、开发者版,以及专业版。详情可参考 Salesforce 相关文档:https://help.salesforce.com/s/articleView?id=000385436&type=1

Salesforce 登录成功后,自动跳转回 Tapdata Cloud 连接配置页面,显示【账户授权成功】(*注意:完成授权前,不可测试或保存连接)

点击【连接测试】,测试通过后,即可【保存】连接

③ 创建数据目标 MongoDB 的连接回到 Tapdata Cloud 连接管理页面,点击【创建连接】按钮,并在 GA 数据源中选择 MongoDB。

参考右侧连接配置帮助,完成 MongoDB 的连接创建

④ 新建数据同步任务

*Tapdata Cloud 目前是主要支持【数据复制】和【数据开发-Beta】能力,前者主要用于数据库到数据库的复制,后者主要用于表到表的数据复制和迁移,支持更多节点操作,可按需选用。本文将以数据开发任务作为模板演示。

右侧菜单栏点击【数据开发】,再点击【创建】按钮,进入任务创建 DAG 页

通过拖拉拽的方式,将刚创建的 Salesforce 源节点,与 MongoDB 目标节点拖入画布并连线

点击源节点与目标节点,分别选择待同步表和目标表后,即可启动任务

三、Why Tapdata

很多企业在面对类似的数据同步需求时,习惯于从编写自定义 ETL 脚本开始,但这不仅会影响项目推进速度,通常还需要后续不短的人力和时间投入来维护这些脚本的稳定运行。但如果能将这部分工作交由一个优秀的工具进行自动化处理,无疑可以省下大量投入数据处理与调度以及复杂硬编码脚本的时间,让整个团队更高效。而这正是 Tapdata 在做的事。

借助 Tapdata 出色的实时数据能力和广泛的数据源支持,可以在几分钟内完成从 Salesforce 到目标库包括全量、增量等在内的多重数据同步任务。

在 Salesforce → Any Destination 的数据同步任务中,Tapdata 展现出如下优势:

内置 60+ 数据连接器,稳定的实时采集和传输能力
以实时的方式从各个数据来源,包括数据库、API、队列、物联网等数据提供者采集或同步最新的数据变化。支持多源异构数据双向同步,自动映射关系型到非关系型。一键实现实时捕获,毫秒内更新。已内置 60+连接器且不断拓展中,覆盖大部分主流的数据库和类型,并支持您自定义数据源。具有强可扩展性的 PDK 架构小时快速对接 SaaS API 系统;16 小时快速对接数据库系统。对源库几乎无影响
基于自研的 CDC 日志解析技术,0入侵实时采集数据,对源库几乎无影响。全链路实时
基于 Pipeline 流式数据处理,以应对基于单条数据记录的即时处理需求,如数据库 CDC、消息、IoT 事件等。不同于传统 ETL,每一条新产生并进入到平台的数据,会在秒级范围被响应,计算,处理并写入到目标表中。同时提供了基于时间窗的统计分析能力,适用于实时分析场景。数据一致性保障
通过多种自研技术,保障目标端数据与源数据的高一致性,并支持通过多种方式完成一致性校验,保障生产要求。可视化任务运行监控和告警
包含 20+ 可观测性指标,包括全量同步进度、增量同步延迟等,能够实时监控在运行任务的最新运行状态、日志信息等,支持任务告警。

【相关阅读】

Tapdata Connector 实用指南:云原生数仓场景之数据实时同步到 DatabendTapdata Connector 实用指南:实时数仓场景之数据实时同步至 ClickHouseTapdata Connector 实用指南:数据入仓场景之数据实时同步到 BigQuery

原文链接:https://tapdata.net/tapdata-connector-salesforce-mongodb.html

特别申明:本文内容来源网络,版权归原作者所有,如有侵权请立即与我们联系(cy198701067573@163.com),我们将及时处理。

Tags 标签

数据库mongodb

扩展阅读

加个好友,技术交流

1628738909466805.jpg