DataEase 数据链接方式支持直连与定时同步,定时同步模式需要 Doris 与 Kettle 组件的支持,由于默认安装的系统均为精简模式,系统不会额外安装 Doris 与 Kettle 组件,故定时同步的按钮为灰色不可点击状态,若需配置定时同步模式,可参考安装模式,切换部署模式为本地模式或集群模式使用。
需注意两种连接方式的差异:
1、【直连】:直接访问数据源配置的数据库,数据实时性高,数据压力在所对接的数据库上;
2、【定时同步】:DataEase 通过 Kettle 将数据抽取转换并存储在 Doris 中,数据实时性稍差,数据压力在 Doris 中,性能更好。
提示:定时同步模式下有两个概念,立即更新和稍后同步,立即更新即此次操作会即时更新数据,稍后同步需要设置定时任务或手动去更新数据。
一、DataEase安装模式介绍
DataEase的v1.9.0 及以后版本安装模式分为本地模式(local)、精简模式(simple)、集群模式(cluster),v1.9.0 以前版本不涉及该内容,等同于安装的本地模式。
安装模式对应 DataEase 中的配置参数为 DE_ENGINE_MODE,在不做修改的情况下,系统默认安装精简模式。
1.1 本地模式
DE_ENGINE_MODE=local
使用本地模式安装,DataEase 会自带 Doris 与 Kettle 组件,无需再做额外配置,但各组件均为单点,不具备高可用特性。
在此模式下,Excel 数据集、API 数据集以及定时同步的数据默认保存在自带的 Doris 组件中。
1.2 精简模式
DE_ENGINE_MODE=simple
使用精简模式安装,系统不会额外安装 Doris 与 Kettle 组件,提供用户轻量级的应用系统,尤其是对接数据量较小的情况。
在此模式下,若用户需要使用 Excel 数据集或 API 数据集可在系统管理界面配置数据引擎(目前仅支持 MySQL 类型),相关数据会存储到该数据引擎中。若只需使用数据库直连则无需做此配置。
注意:由于精简模式未配置 Kettle 与 Doris,故相关 SQL 数据集/数据库数据集不提供定时同步模式。
1.3 集群模式
DE_ENGINE_MODE=cluster
使用集群模式安装,系统不会额外安装 Doris 与 Kettle 组件,但会在系统管理模块提供 Doris 与 Kettle 的链接配置界面(请参考【系统管理】的【系统参数】说明),用户可独立安装 Doris 集群及 Kettle 并配置在 DataEase 中。集群模式下 Excel 数据集,API 数据集以及定时同步的数据通过 Kettle 抽取到 Doris 集群中。
Doris 安装部署可参考:http://doris.incubator.apache.org/zh-CN/
Kettle 安装部署可参考:http://www.kettle.org.cn/
二、切换安装模式
安装包部署方式下,若需切换安装模式,请执行以下操作。步骤一:修改 /opt/DataEase/.env 文件(注意 .env 是隐藏文件)中 DE_ENGINE_MODE 参数,比如将 local 改成 simple。
步骤二:若是离线安装方式,在 DataEase 离线安装包解压目录(以 v1.12.0 版本为示例,离线包上传到 /tmp 目录下解压,则在 /tmp/dataease-v1.12.0-offline 下),重新执行安装脚本即可。
bash install.sh
若是在线安装方式,在执行一键安装命令的在线安装包解压目录(以 v1.12.0 版本为示例,在 /home 目录下执行命令,则在 /home/dataease-v1.12.0-online 下),重新执行 bash install.sh,也可重新执行在线安装脚本。
curl -sSL https://github.com/dataease/dataease/releases/latest/download/quick_start.sh | sh注意:由于精简模式的 Excel 与 API 数据集是保存在配置的数据引擎中的,切换为其它模式会导致这两部分的数据丢失,反之亦然(Excel 与 API 数据集保存位置变更),直连数据库的相关数据集不受影响。
发表评论