1. 解析CSV文件中SQL语句的数据血缘关系

    马哈鱼数据血缘分析器 作为一个分析数据血缘关系工具,通过对 SQL 脚本或者其他包含 SQL 的格式文件进行分析,得到 data lineage。目前支持获取 SQL 的方式:

    2021/09/03 马哈鱼 教程

  2. 利用元数据提高数据血缘分析的准确性

    一、马哈鱼: 数据治理专家的一把利器

    2021/09/02 马哈鱼 教程

  3. 马哈鱼数据血缘分析器新用户注册

    一、如何成为马哈鱼数据血缘分析器新用户 申请马哈鱼数据血缘分析器新用户 您需要准备一个能够正常收发邮件的邮箱,它将用来激活用户并作为登录名使用 设置一个不低于8字符的强密码。 马哈鱼数据血缘分析器用户登录流程图: 访问马哈鱼数据血缘分析器官方网站, 页面加载后进行用户注册/登录。 用户注册如下: 用户登录如下: 二、用户注册常见问题 1. 用户长时间未收到激活email,无法获取激活码。 常见原因是因为用户注册邮箱拒绝接收来自马哈鱼数据血缘分析器官方的邮件。用户收到的激活email发自 james@gudusoft.com ,因此用户需要把这个邮箱加入到注册邮箱的白名单,确保能够收到激活邮件。 2. 我申请的是standard用户,如何升级到premium用户,升级后能立即使用吗? standard用户升级为premium用户有两个途径。 一、standard 用户可以通过激活码升级为 premium 用户,到期后降级为 standard 用户,每个 email,只允许绑定一次激活码。 二、是可以点击马哈鱼数据血缘分析器主页上“Go premium and unlock all the extraordinary featrues of SQLFlow” 连接直接进入付费页面,通过支付费用成为 premium 用户。 升级后,您的付费账户3分钟内激活。 3. 浏览器 马哈鱼数据血缘分析器支持大多数主流浏览器,但请尽量避免使用版本过旧的浏览器,防止给您带来不佳的体验。 4. 注册用的邮箱 马哈鱼数据血缘分析器支持各种类型的邮箱进行注册,包括任意组织的私有邮箱。 三、技术支持 在注册过程中如果碰到无法收到激活邮件或其它问题,请联系 support@sqlflow.cn 四、马哈鱼数据血缘分析器账户类型 马哈鱼数据血缘分析器有三类账户,分别为普通用户账户、高级用户账户和团队用户账户,其中: standard (普通用户账户) 免费体验。还可以通过用户激活码免费体验 30 天完整功能。 支持超过20种数据库类型 支持分享和导出数据沿袭结果 支持马哈鱼数据血缘分析器所有配置设置 只能使用Web网站上的SQL 编辑器输入SQL,SQL大小限制为300KB,每月访问次数限制为300次 premium (高级用户账户) 付费用户 支持普通用户中所有功能,您的高级帐户将在付费后 3 分钟内激活 对马哈鱼数据血缘分析器云服务的无限制访问 支持REST API接口 支持上传SQL文件 从数据库实例中自动发现数据血缘关系 从Github/Bitbucket Repo 中自动发现数据血缘关系 team (团队账户) 团队账户包含多个团队内用户,团队购买,所有用户都能使用。 共享数据血缘分析结果。 五、马哈鱼数据血缘分析器是什么 随着大数据技术的发展与普及,数据治理和数据质量变得越来越重要,数据血缘分析在业界悄然兴起并得到了广泛流行,今天推荐一款专业且易用的数据血缘分析工具–马哈鱼数据血缘分析器。据资料显示,马哈鱼数据血缘分析器是当前最流行的数据血缘关系(data lineage)分析工具,它在全球IT界范围内广泛的流行着,被众多头部元数据管理商使用,支持超过20个主流数据库。 万丈高楼平地起,今天我们从 马哈鱼数据血缘分析器 新用户申请开始,在后续的技术分享中,我将带大家系统深入了解 马哈鱼数据血缘分析器 的操作,希望在未来的工作中,它能成为你的得力助手。 马哈鱼数据血缘分析器官方入口:https://sqlflow.gudusoft.com 六、参考 马哈鱼数据血缘分析器中文网站: https://www.sqlflow.cn 马哈鱼数据血缘分析器架构文档: https://github.com/sqlparser/sqlflow_public/blob/master/sqlflow_architecture.md

    2021/08/31 马哈鱼 教程

  4. Apache atlas liunx环境安装部署手册

    一、 背景 本文使用一台 ubuntu 虚拟机安装 Apache-atlas,使用集成包 apache-atlas-2.1.0.zip 进行快速安装部署,该集成包高度集成了hadoop、hbase、solr等关键程序,无需额外部署它们。通过下述安装配置,能够达到研发测试目的。 二、 配置 1、 关闭防火墙 关闭防火墙:systemctl stop firewalld.service 2、 安装JDK1.8 1)、创建java部署目录 mkdir /usr/java 2)、将jdk-8u202-linux-x64.tar解压到部署目录 tar zxf /soft/ jdk-8u202-linux-x64.tar.gz -C /usr/java/ 3)、修改配置文件/etc/profile #java vim /etc/profile export JAVA_HOME=/usr/java/jdk1.8.0_202 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 4)、使配置生效 source /etc/profile 5)、检查java安装情况 java –version 3、 文件授权 将unzip apache-atlas-2.1.0.zip解压到目标位置后,将目录切换到该目录,对以下目录中的文件进行集中授权。 chmod 775 -R ./bin/ chmod 775 -R hadoop/bin/ chmod 775 -R hbase/bin/ chmod 775 -R solr/bin/ 4、 启动atlas服务 在指定目录中,切换到bin目录下后,直接执行以下命令可成功启动atlas服务。 ./atlas_start.py 说明: atlas_start.py 启动atlas服务 atlas_stop.py 关闭atlas服务 5、 atlas服务端口检查 待服务启动后,需要检查以下21000端口是否正常启动监听状态。使用netstat –an即可检查。 6、 atlas服务访问 使用以下地址进行登录: 地址:http://ip:21000/api/atlas/ 登录之后:

    2021/08/17 Apache atlas

  5. 马哈鱼数据血缘分析器部分客户

    马哈鱼数据血缘分析器部分客户

    2021/08/15 马哈鱼

  6. 动态 SQL 语句数据血缘关系(lineage)的发现

    动态 SQL 语句是在运行时临时组合而成,程序的执行路径、数据库中的数据、代码中的变量值不同会导致最终形成 SQL 语句的不同。 马哈鱼数据血缘分析器支持分析基本的动态 SQL 语句,并根据实际情况对结果进行模拟。之所以说是模拟,是因为实际动态 SQL 语句是在 真实数据库环境中运行的,会根据实际的数据合成 SQL 文本, 而马哈鱼数据血缘分析器工作不需要连接到实际的数据库,通过对 SQL 语句的分析,给出数据血缘关系。

    2021/08/12 马哈鱼

  7. 免费体验马哈鱼数据血缘分析器完整功能

    免费体验马哈鱼完整功能 30 天 如果还没有注册,先看这篇教程进行注册。 完成注册后,访问这个页面申请激活码。 大概 5 分钟内,可以收到包含激活码的 Email 。 收到激活码后,登录 https://sqlflow.gudusoft.com , 点击右上角的图标,出现如下内容:

    2021/08/12 马哈鱼 教程

  8. 马哈鱼数据血缘分析器视频介绍

    马哈鱼数据血缘分析器简介 SQLFlow 数据溯源软件 SQLFlow 是一个功能强大的数据血缘分析工具, 通过分析各种数据库的 SQL 脚本、对象定义语句(DDL)、DML 语句、 ETL/ELT中使用的存储过程(Procedure,Function)、触发器(Trigger),给出完整的数据血缘关系。

    2021/08/07 马哈鱼