1. [置顶]马哈鱼数据血缘分析器介绍

    一、马哈鱼数据血缘分析器( SQLFlow )是什么 在大型数据仓库和数据湖中,完整的数据血缘关系可以用来进行数据溯源、表和字段变更的影响分析、数据合规性的证明、数据质量的检查等。 那么到底什么是数据的血缘关系 (data lineage) 呢? 维基百科上的定义是:数据从哪里来,往哪里去,中间发生了哪些变化。 马哈鱼数据血缘分析器通过分析 SQL 脚本,给出完整的数据血缘关系。 马哈鱼能够处理多达 20 多种数据库的 SQL 语句,复杂的存储过程、动态 SQL 语句也不在话下。 拥有自主研发的通用 SQL 解析器的强大 SQL 处理能力,马哈鱼是你分析 SQL 数据血缘的首选。 二、马哈鱼数据血缘分析器是怎样工作的 本视频介绍如何利用马哈鱼数据血缘分析器来快速发现 create view SQL 语句中各个表和字段的血缘关系,并用可视化的方式展现出来。 三、马上体验一下 点击这里可以免费体验马哈鱼完整功能。 四、产品版本 1.马哈鱼数据血缘分析器 马哈鱼数据血缘分析器是一个 SaaS 服务。通过浏览器直接使用,无需安装任何软件。 通过浏览器访问马哈鱼数据血缘分析器。 在浏览器中上传SQL文本或文件。 点击分析按钮后,查看数据血缘关系的可视化结果。 在浏览器中,以交互形式,查看特定表或视图的完整血缘关系图。 用 grabit 工具或 API,提交需要处理的 SQL 文件,然后在浏览器中查看结果,或在自己的代码中对返回的结果做进一步处理。 2.私有化部署版本 支持企业私有化部署,可部署在隔离内网环境。仅供企业内部人员使用,保证数据的安全。 提供完整的 API。 支持软件OEM。软件Logo定制,去除马哈鱼Logo,定制品牌Logo,突出品牌信息。 详情请见安装手册。 3.企业版 马哈鱼数据血缘分析器企业版,包含私有化部署版本和 Java 类库,可以方便的把 data lineage 功能集成到你的项目中, 支持多达20几种主流数据库复杂的 SQL 脚本,包含存储过程。 单击这里下载可运行的 Java 程序及类库。 五、马哈鱼数据血缘分析器的组成 Backend, 后台由一系列 Java 程序组成。负责 SQL 的解析、数据血缘分析、可视化元素的布局、身份认证等。 Frontend, 前端由一系列 javascript、html 代码组成。负责 SQL 的递交、数据血缘关系的可视化展示。 Grabit 工具, 一个 Java 程序。负责从数据库、版本控制系统、文件系统中收集 SQL 脚本,递交给后台进行数据血缘分析。 Restful API,一套完整的 API。让用户可以通过 Java、C#、Python、PHP 等编程语言与后台进行交互,完成数据血缘分析。 六、马哈鱼数据血缘分析器的局限 马哈鱼数据血缘分析器仅仅通过分析 SQL 脚本,包含存储过程(proceudre, function, trigger)来获取数据库中 的数据血缘关系。 但在 ETL 数据转换过程中,会用到很多其它技术和工具,由此产生的数据血缘关系目前 马哈鱼数据血缘分析器无法探知。 七、进一步了解马哈鱼数据血缘分析器 支持多达21个主流数据库: bigquery, couchbase, dax, db2, greenplum, hana, hive, impala, informix, mdx, mysql, netezza, odbc, openedge, oracle, postgresql, redshift, snowflake, sparksql, sqlserver, sybase, teradata, vertica 马哈鱼数据血缘分析器的客户 Architecture document 八、数据血缘关系 这里用数据库中常用的表和视图来对数据血缘关系做一个说明,实际的情况会比这个复杂。 数据库中视图 (View) 的数据来自表 (Table) 或其他视图,视图中字段 (Column) 的数据可能来自多个表中多个字段的聚集 (aggregation)。 表中的数据可能通过ETL从外部系统中导入。这种从数据的源头经过各个处理环节,到达数据终点的数据链路关系称为数据血缘关系 (data lineage)。 举例来说,领导可能会问财务报表中的统计结果,它是有哪些子系统(采购、生产、销售等)提供的数据汇总而成的? 开发人员会关心当某个子系统(例如 销售子系统)的数据结构发生变化时,可能会影响哪些其它子系统,财务报表子系统也是否需要进行改动? 马哈鱼数据血缘分析器会帮助你回答这些问题,以可视化的图形方式把 数据血缘关系呈现在你面前,让你对组织的IT系统中的数据流动一目了然。

    2021/08/05 马哈鱼

  2. 利用马哈鱼来分析Case-When语句中的字段依赖关系

    马哈鱼数据血缘分析器是一个分析数据血缘关系的平台,可以在线直接递交 SQL 语句进行分析,也可以选择连接指定数据库获取 metadata、从本地上传文件目录、或从指定 git 仓库获取脚本进行分析。 本文介绍如果利用马哈鱼来分析SQL的case-when语句中字段依赖关系。 一个简单的Case 考虑如下SQL: select case when a.kamut=1 and b.teur IS null then 'no locks' when a.kamut=1 then b.teur else 'locks' end teur from tbl a left join TT b on (a.key=b.key) SQL的返回字段 teur,它的值直接于case-when的计算结果。 在马哈鱼的设计理念里,case-when被认为是一种特殊的function,但又不同于普通的function,它并没有argument。马哈鱼直接分析case when中的when、then、else子句。 其中,then、else子句的字段直接作为返回结果提供给teur,因此毫无疑问,then、else子句的字段和teur是一个fdd关系。需要考虑的是when子句,teur的结果是间接依赖when子句,满足不同的when子句,会返回不同的then结果,这会影响到最终teur字段的返回值。因此: when --> fdr --> then --> fdd --> resultset column 此处的when子句非常类似where语句,只不过影响的是then子句,而不是直接影响resultset column。 如图所示: teur和两个when子句:a.kamut=1 and b.teur IS null, a.kamut=1,产生了fdr关系,因此 a.kamut --> fdr -->teur, 1 --> fdr --> teur, b.teur --> fdr --> teur teur和2个then子句及else子句产生了fdd关系,因此 'no locks' --> fdd --> teur, b.teur --> fdd --> teur, 'locks' --> fdd --> teur 其中b.teur和teur直接同时存在了fdd和fdr关系,由于fdd关系优先级高于fdr关系,因此在graph中,只显示出了fdd关系。 稍微复杂一些的Case,嵌套case-when语句 CREATE VIEW FACT_PRCU_FLDR AS SELECT PRCU.PRCU_ID AS PRCU_FLDR_ID, CONCAT(PRCU.PRCU_TYP_ID,'^','^') AS PRCU_FLDR_TYP_ID, CONCAT('^',PRCU.BUYR_ID) AS BUYR_STAFF_ID, CONCAT('^',PRCU.MGR_ID) AS MGR_STAFF_ID, CONCAT(PRCU.BUYR_TEAM,'^') AS BUYR_TEAM_STAFF_ID, PRCU.CMPLX_CD AS PRCU_CMPLX_ID, PRCU.RNG_CD AS PRCU_RNG_ID, (CASE WHEN PRCU.NO_ST IS NOT NULL AND PRCU.NO_ST_COMPLETE IS NOT NULL THEN (PRCU.NO_ST - PRCU.NO_ST_COMPLETE) END) AS NO_ORD_ST, (CASE WHEN PRCU.COMPLETE_FL=1 THEN 'Final' WHEN (CASE WHEN PRCU.NO_ST IS NOT NULL AND PRCU.NO_ST_COMPLETE IS NOT NULL THEN (PRCU.NO_ST - PRCU.NO_ST_COMPLETE) END) > 0 THEN 'Alert!' ELSE 'Ok' END) AS FLDR_COMPLETE, PRCU.PRCU_ID, PRCU.PRCU_TYP_ID, PRCU.PRCU_DSCR, PRCU.EXPT_COMPLETE_DT, PRCU.CLSD_DT, PRCU.BUYR_ID, PRCU.MGR_ID, PRCU.BUYR_TEAM, PRCU.CMPLX_CD, PRCU.RNG_CD, PRCU.COMPLETE_FL, COALESCE(PRCU.NO_ST,0) AS NO_ST, COALESCE(PRCU.NO_ST_COMPLETE, 0) AS NO_ST_COMPLETE, CVLST.CVL_PRCU_ST_ID_DV AS "LAST_ST_COMPLETE", COALESCE(PRCU.TOT_AMT, 0) AS TOT_AMT, PRCU.TBL_LAST_DT, PRCU.PRCU_TITLE, (SELECT MIN(CREA_DT) FROM R_PRCU_ST ST WHERE PRCU.PRCU_ID=ST.PRCU_ID AND ST.CREA_DT IS NOT NULL) FLDR_CREA_DT, COALESCE(PRCU.ORGNL_PRCU_TOT_AM, 0) AS ORGNL_PRCU_TOT_AM, CONCAT(PRCU.EXT_STOR_UNID,'^R_PRCU_ID')AS EXT_ID, /*INSIGHT_LITE_COLUMNS_STRT*/ 0 AS REC_ST, PRCU.TBL_LAST_DT AS LAST_PROCESS_DT /*INSIGHT_LITE_COLUMNS_END*/ /*INSIGHT_COLUMNS_STRT PRCU.REC_ST, PRCU.LAST_PROCESS_DT INSIGHT_COLUMNS_END*/ FROM R_PRCU_ID PRCU LEFT OUTER JOIN CVL_PRCU_ST_ID CVLST ON PRCU.LAST_ST_COMPLETE = CVLST.CVL_PRCU_ST_ID_SV 查看其中的case-when语句 (CASE WHEN PRCU.COMPLETE_FL=1 THEN 'Final' WHEN (CASE WHEN PRCU.NO_ST IS NOT NULL AND PRCU.NO_ST_COMPLETE IS NOT NULL THEN (PRCU.NO_ST - PRCU.NO_ST_COMPLETE) END) > 0 THEN 'Alert!' ELSE 'Ok' END) AS FLDR_COMPLETE 可以看到ResultSet Column FLDR_COMPLETE 被一个case-when语句影响,而其中的第二个When子句又包含了一个case-when语句。 当case-when语句整体作为when子句时,这个子句的fdd关系,实际上是外层when子句fdr关系的一部分,即: then -->fdd-->when-->fdr-->FLDR_COMPLETE 因此内层case-when的then子句和resultset column FLDR_COMPLETE的关系是fdr关系,而不是fdd关系。 如图所示,最终影响FLDR_COMPLETE的fdd字段,仅有外层case-when的then语句和else语句,其他的都显示为fdr关系。 以上就是对马哈鱼分析case-when语句的处理流程介绍,关于马哈鱼的等多功能,请参考下面链接: 参考 马哈鱼数据血缘关系分析工具中文网站: https://www.sqlflow.cn 马哈鱼数据血缘关系分析工具在线使用: https://sqlflow.gudusoft.com

    2021/09/15 马哈鱼 教程

  3. 数据治理中Oracle SQL和存储过程的数据血缘分析

    数据治理中的一个重要基础工作是分析组织中数据的血缘关系。有了完整的数据血缘关系,我们可以用它进行数据溯源、表和字段变更的影响分析、数据合规性的证明、数据质量的检查等。 分析数据血缘的方法主要分为四类 自动解析 系统跟踪 机器学习 人工收集 自动解析主要是利用工具解析 SQL 语句、存储过程和 ETL等文件。 本文以 Oracle 为例,来说明如何分析 SQL 和存储过程中的数据血缘。 产生数据血缘的 SQL 语句 SELECT INSERT UPDATE MERGE CREATE VIEW CREATE TABLE 存储过程 SELECT 可能你会感到奇怪, SELECT 语句没有对数据进行增、改操作,如何会产生数据血缘? 秘密就在于 SELECT 语句中的 select list 部分,在这里,可以对数据进行转换。 以下面这个 SELECT 语句为例: select sal + commission as totalSal from emp; 我们可以看到,totalSal 字段的数据来自 emp.sal 和 emp.commission,在这里,数据进行了一次转换。 这种在 SELECT 内部产生的数据血缘是临时性的,但是这个 SELECT 语句和 CREATE VIEW 或者 CREATE TABLE 一结合,这个数据血缘就真正落地形成了。例如: create view v_sal(mySal) as select sal + commission as totalSal from emp; 这个 CREATE VIEW 语句通过 SELECT 形成了 从 emp.sal 和 emp.commission 到 v_sal.mySal 的数据血缘。 因此我们可以知道,分析好 SELECT 语句是对 SQL 语句进行数据血缘分析的基础。总体来说,通过分析 SQL 语句来获得数据血缘是比较直观和简单的,但问题的关键是人工分析的效率太低,对于企业内众多的 SQL 来说,人工分析基本是不可能的。 存储过程 存储过程可以包含比较复杂的逻辑处理,例如条件判断、循环分支等。因此常用来完成数据抽取、转换、加载、清洗等任务。 这其中,就产生了大量的数据血缘关系。为了更好的对企业内数据进行治理,整理存储过程中的数据血缘工作是必不可少的。 分析存储过程中的数据血缘,游标 cursor 是一个关键因素,数据流一般都是围绕着游标进行处理。 在下面这个 Oracle PL/SQL 的存储过程中,首先定义了游标 CURSOR cur_stclerk。 DECLARE CURSOR cur_stclerk IS SELECT employee_id, department_id, first_name, last_name FROM employees WHERE job_id = 'ST_CLERK'; 然后通过这个游标,用 LOOP 进行循环, 把数据从 employees 表中插入到表 emp_temp 和 emp_detls_temp。 INSERT INTO emp_temp (employee_id, department_id, job_id) VALUES (z_empid, z_depid, 'ST_CLERK'); INSERT INTO emp_detls_temp (employee_id, empname) VALUES (z_empid, z_firstname || ' ' || z_lastname); END LOOP; CLOSE cur_stclerk; COMMIT; END; 因此我们可以建立从 employees 表到表 emp_temp 和 emp_detls_temp 的数据血缘。 完整的 PLSQL 存储过程。 DECLARE z_empid employees.employee_id%TYPE; z_depid employees.department_id%TYPE; z_firstname employees.first_name%TYPE; z_lastname employees.last_name%TYPE; CURSOR cur_stclerk IS SELECT employee_id, department_id, first_name, last_name FROM employees WHERE job_id = 'ST_CLERK'; BEGIN OPEN cur_stclerk; LOOP FETCH cur_stclerk INTO z_empid,z_depid,z_firstname, z_lastname; EXIT WHEN cur_stclerk%NOTFOUND; INSERT INTO emp_temp (employee_id, department_id, job_id) VALUES (z_empid, z_depid, 'ST_CLERK'); INSERT INTO emp_detls_temp (employee_id, empname) VALUES (z_empid, z_firstname || ' ' || z_lastname); END LOOP; CLOSE cur_stclerk; COMMIT; END; 自动化数据血缘分析工具 SQLFlow 支持分析多达 20 多种主流数据库的 SQL 语句。 支持的数据库有 bigquery, couchbase, dax, db2, greenplum, hana, hive, impala, informix, mdx, mysql, netezza, odbc, openedge, oracle, postgresql, redshift, snowflake, sparksql, sqlserver, sybase, teradata, vertica。 支持分析存储过程和动态 SQL 语句。 通过 UI 分析 SQL 语句 通过 SQLFlow 的 UI 可以快速的获取一个 SQL 的数据血缘情况, 并可以得到可视化的结果,帮助用户迅速了解一个 SQL 中的数据血缘。 通过 API 方式分析 SQL 的数据血缘 有时,我们需要把分析所得的数据血缘作为元数据存储到我们自己的数据治理平台中,和其它元数据进行整合, 这时,我们可以利用 SQLFlow 提供的 Restful API, 利用 shell, python 等脚本对数据血缘分析工作进行自动化。 这里用 curl 展示如何用 API 访问 SQLFlow 进行数据血缘分析。 准备好用 API 连接 SQLFlow 需要的 userid 和 secret code 利用 userid 和 secret code 来获取 token。注意,用你自己的 userid 和 secret code 来替换掉命令中的对应部分。 curl -X POST "https://api.gudusoft.com/gspLive_backend/user/generateToken" -H "Request-Origion:testClientDemo" -H "accept:application/json;charset=utf-8" -H "Content-Type:application/x-www-form-urlencoded;charset=UTF-8" -d "secretKey=YOUR SECRET KEY" -d "userId=YOUR USER ID HERE" 把需要分析的 SQL 语句递交给 SQLFlow 进行分析,并返回处理结果。注意,用你自己的 userid 和上面命令中返回的 token 来替换掉命令中的对应部分。 curl -X POST "https://api.gudusoft.com/gspLive_backend/sqlflow/generation/sqlflow?showRelationType=fdd" -H "Request-Origion:testClientDemo" -H "accept:application/json;charset=utf-8" -H "Content-Type:multipart/form-data" -F "sqlfile=" -F "dbvendor=dbvoracle" -F "ignoreRecordSet=true" -F "simpleOutput=false" -F "sqltext=create view v_sal(mySal) as select sal + commission as totalSal from emp;" -F "userId=YOUR USER ID HERE" -F "token=YOUR TOKEN HERE" 返回的 json 包含了如下数据血缘关系。 "relations": [ { "id": "3", "type": "fdd", "effectType": "create_view", "target": { "id": "11", "column": "mySal", "parentId": "9", "parentName": "v_sal", }, "sources": [ { "id": "3", "column": "sal", "parentId": "2", "parentName": "emp", }, { "id": "4", "column": "commission", "parentId": "2", "parentName": "emp", } ], "processId": "10" } ] 更详细的信息见官网 SQLFlow Restful API。 小结 本文介绍了如何通过分析 Oracle 的 SQL 语句和存储过程来获取组织中的数据血缘,从而更好的进行数据治理。 并介绍了如何利用 SQLFlow 工具把分析 SQL 语句中的数据血缘工作自动化, 提高数据自理效率和水平。

    2021/09/11 马哈鱼 教程

  4. 马哈鱼的 userid 和 secret code

    当用户需要使用 Restful API 或 grabit tool 访问马哈鱼时,需要使用用户的 userid 和 secret code。 为获取 userid 和 secret code, 必须先申请成为高级账户。点击这里可以免费申请 30 天体验账户。 userid 和 secret code 的位置 访问 马哈鱼网站, 登录后,点击右上角的账户名。 点击 account 后, 点击 generate 按钮,可以产生 secret code。

    2021/09/10 马哈鱼 教程

  5. 马哈鱼血缘分析器用户体系介绍

    注册

    2021/09/09 马哈鱼 教程

  6. 马哈鱼数据血缘分析器不同版本

    1.马哈鱼数据血缘分析器 马哈鱼数据血缘分析器是一个 SaaS 服务。通过浏览器直接使用,无需安装任何软件。

    2021/09/04 马哈鱼

  7. 马哈鱼数据血缘分析器价格

    1.马哈鱼数据血缘分析器 马哈鱼数据血缘分析器是一个 SaaS 服务。通过浏览器直接使用,无需安装任何软件。 单用户 使用期从购买之日起一年。 一个用户使用。 可选择最多三个不同种类的数据库。 支持 grabit 工具和 API。 价格 3600 元/年。 5 用户 使用期从购买之日起一年。 最多 5 个用户使用。 可选择最多三个不同种类的数据库。 支持 grabit 工具和 API。 用户间数据血缘数据可共享。 价格 16,000 元/年。 5 用户以上 使用期从购买之日起一年。 5 个用户起。 可选择最多三个不同种类的数据库。 支持 grabit 工具和 API。 用户间数据血缘数据可共享。 价格按需定制。 2.私有化部署版本 支持企业私有化部署,可部署在隔离内网环境。仅供企业内部人员使用,保证数据的安全。 可永久使用。 授权安装一台服务器。 包含支持一种数据库。 支持 grabit 工具和 API。 价格 一次性授权费 20,000 元。 一年后如需更新版本,收取原始购买价 20% 升级费用,按年收费。 如需支持更多数据库种类,每种数据库 6000 元。 3.企业版 马哈鱼数据血缘分析器企业版,包含私有化部署版本和 Java 类库,可以方便的把 data lineage 功能集成到你的项目中, 价格按需定制。 4.购买和咨询 请联系 support@sqlflow.cn

    2021/09/04 马哈鱼

  8. 解析CSV文件中SQL语句的数据血缘关系

    马哈鱼数据血缘分析器 作为一个分析数据血缘关系工具,通过对 SQL 脚本或者其他包含 SQL 的格式文件进行分析,得到 data lineage。目前支持获取 SQL 的方式:

    2021/09/03 马哈鱼 教程

  9. 利用元数据提高数据血缘分析的准确性

    一、马哈鱼: 数据治理专家的一把利器

    2021/09/02 马哈鱼 教程

  10. 马哈鱼数据血缘分析器新用户注册

    一、如何成为马哈鱼数据血缘分析器新用户 申请马哈鱼数据血缘分析器新用户 您需要准备一个能够正常收发邮件的邮箱,它将用来激活用户并作为登录名使用 设置一个不低于8字符的强密码。 马哈鱼数据血缘分析器用户登录流程图: 访问马哈鱼数据血缘分析器官方网站, 页面加载后进行用户注册/登录。 用户注册如下: 用户登录如下: 二、用户注册常见问题 1. 用户长时间未收到激活email,无法获取激活码。 常见原因是因为用户注册邮箱拒绝接收来自马哈鱼数据血缘分析器官方的邮件。用户收到的激活email发自 james@gudusoft.com ,因此用户需要把这个邮箱加入到注册邮箱的白名单,确保能够收到激活邮件。 2. 我申请的是standard用户,如何升级到premium用户,升级后能立即使用吗? standard用户升级为premium用户有两个途径。 一、standard 用户可以通过激活码升级为 premium 用户,到期后降级为 standard 用户,每个 email,只允许绑定一次激活码。 二、是可以点击马哈鱼数据血缘分析器主页上“Go premium and unlock all the extraordinary featrues of SQLFlow” 连接直接进入付费页面,通过支付费用成为 premium 用户。 升级后,您的付费账户3分钟内激活。 3. 浏览器 马哈鱼数据血缘分析器支持大多数主流浏览器,但请尽量避免使用版本过旧的浏览器,防止给您带来不佳的体验。 4. 注册用的邮箱 马哈鱼数据血缘分析器支持各种类型的邮箱进行注册,包括任意组织的私有邮箱。 三、技术支持 在注册过程中如果碰到无法收到激活邮件或其它问题,请联系 support@sqlflow.cn 四、马哈鱼数据血缘分析器账户类型 马哈鱼数据血缘分析器有三类账户,分别为普通用户账户、高级用户账户和团队用户账户,其中: standard (普通用户账户) 免费体验。还可以通过用户激活码免费体验 30 天完整功能。 支持超过20种数据库类型 支持分享和导出数据沿袭结果 支持马哈鱼数据血缘分析器所有配置设置 只能使用Web网站上的SQL 编辑器输入SQL,SQL大小限制为300KB,每月访问次数限制为300次 premium (高级用户账户) 付费用户 支持普通用户中所有功能,您的高级帐户将在付费后 3 分钟内激活 对马哈鱼数据血缘分析器云服务的无限制访问 支持REST API接口 支持上传SQL文件 从数据库实例中自动发现数据血缘关系 从Github/Bitbucket Repo 中自动发现数据血缘关系 team (团队账户) 团队账户包含多个团队内用户,团队购买,所有用户都能使用。 共享数据血缘分析结果。 五、马哈鱼数据血缘分析器是什么 随着大数据技术的发展与普及,数据治理和数据质量变得越来越重要,数据血缘分析在业界悄然兴起并得到了广泛流行,今天推荐一款专业且易用的数据血缘分析工具–马哈鱼数据血缘分析器。据资料显示,马哈鱼数据血缘分析器是当前最流行的数据血缘关系(data lineage)分析工具,它在全球IT界范围内广泛的流行着,被众多头部元数据管理商使用,支持超过20个主流数据库。 万丈高楼平地起,今天我们从 马哈鱼数据血缘分析器 新用户申请开始,在后续的技术分享中,我将带大家系统深入了解 马哈鱼数据血缘分析器 的操作,希望在未来的工作中,它能成为你的得力助手。 马哈鱼数据血缘分析器官方入口:https://sqlflow.gudusoft.com 六、参考 马哈鱼数据血缘分析器中文网站: https://www.sqlflow.cn 马哈鱼数据血缘分析器架构文档: https://github.com/sqlparser/sqlflow_public/blob/master/sqlflow_architecture.md

    2021/08/31 马哈鱼 教程

  11. Apache atlas liunx环境安装部署手册

    一、 背景 本文使用一台 ubuntu 虚拟机安装 Apache-atlas,使用集成包 apache-atlas-2.1.0.zip 进行快速安装部署,该集成包高度集成了hadoop、hbase、solr等关键程序,无需额外部署它们。通过下述安装配置,能够达到研发测试目的。 二、 配置 1、 关闭防火墙 关闭防火墙:systemctl stop firewalld.service 2、 安装JDK1.8 1)、创建java部署目录 mkdir /usr/java 2)、将jdk-8u202-linux-x64.tar解压到部署目录 tar zxf /soft/ jdk-8u202-linux-x64.tar.gz -C /usr/java/ 3)、修改配置文件/etc/profile #java vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_202 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 4)、使配置生效 source /etc/profile 5)、检查java安装情况 java –version 3、 文件授权 将unzip apache-atlas-2.1.0.zip解压到目标位置后,将目录切换到该目录,对以下目录中的文件进行集中授权。 chmod 775 -R ./bin/ chmod 775 -R hadoop/bin/ chmod 775 -R hbase/bin/ chmod 775 -R solr/bin/ 4、 启动atlas服务 在指定目录中,切换到bin目录下后,直接执行以下命令可成功启动atlas服务。 ./atlas_start.py 说明: atlas_start.py 启动atlas服务 atlas_stop.py 关闭atlas服务 5、 atlas服务端口检查 待服务启动后,需要检查以下21000端口是否正常启动监听状态。使用netstat –an即可检查。 6、 atlas服务访问 使用以下地址进行登录: 地址:http://ip:21000/api/atlas/ 登录之后:

    2021/08/17 Apache atlas