SQL可视化工具介绍
1SQL可视化介绍
数据可视化分析工具
DCS平台提供的SQL可视化功能,主要是将数据处理过程中的最常用的编程语言(SQL),通过业务化、可视化的方式进行处理和展示。让业务人员、技术人员能够拥有公共语言,双方能够基于事实进行讨论,共同为业务结果负责。
1.1SQL可视化的目标
使用SQL可视化工具,能够有效地解决几下问题:
1、避免技术黑盒,让业务人员也能够看懂数据的处理过程,可避免业务与
技术相互扯皮;
2、快速确认业务目标,反复迭代,甚至能让业务人员参与进来,避免需求
开发完了,结果却偏离目标;
3、降低对技术人员技能的要求,即使不懂SQL也能进行开发;
4、只需关注业务逻辑,底层数据库的对接交给平台处理,可适配多种底层
数据库,数据库的变更将会变得很容易。
1.2SQL可视化的功能
SQL可视化功能包括来源表管理、可视化流程开发管理、可视化流程调度管理三大模块。
1、来源表管理:维护数据的源头信息,对原材料分类管理,用于数据处理开发的来源映射和数据问题溯源。主要功能有:
1)来源表信息自动获取功能:通过填写来源表的数据库信息、表名,可自动获取来源表的结构信息,包括中文描述等。
2)来源表信息维护功能:用于补充完善来源表的信息,包括表信息、字段信息的业务含义。
2、可视化流程开发管理:通过业务化、可视化的方式进行数据处理的开发,主要功能有:
1)多种视图并存:同一处理过程,提供业务视图和技术视图,并可相互转
换。
业务视图:
技术视图:
2)集合操作思维:交、或、并的数据处理操作流程,提供拖拉式字段映射、映射管理、表级关联等功能。
拖拉式字段映射:选择一个或多个字段后,拖进新的数据表中(可以为临时表、结果表)
映射管理:目标字段填写不同的映射表达式,来源可为一个或多个字段。
表级关联管理:添加表间的关联关系,以及关联字段。
3)用户函数库管理:在函数库中可预先定制各类处理操作,在数据处理过程中直接选用。
4)支持过程调试:数据处理的每一个步骤,都可以进行处理SQL和生成数据结果的预览。
5)多种数据库语言转换:支持将开发流程自动转换为对应数据库的可执行SQL语句,支持的数据库有:Oracle、DB2、Postgres、MySQL、Hive等常用关系型数据库,并已扩展支持阿里MaxCompute。
6)复杂处理逻辑支撑:对于复杂的业务场景,支持进行分支判断,循环执行等复杂逻辑的操作。
3、可视化流程调度管理:根据可视化方式,完成每个节点的加工关系配置,平台自动构建可视化的数据处理流程,直接加入调度执行。