数据治理 - enfi

[TOC] # [数据治理接口] ## 1. /database/ds/execute1 ### 1.1. 接口功能 > 执行sql语句 ### 1.2. 请求方式 > post ### 1.3. 请求参数 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |dsId|true|varchar|数据库ID| |dsName|true|varchar|数据库名称（与dsId 二选一）| |sqlCode|true|varchar|sql代号| |xxx|true|varchar|sql参数| ## 2. http://www.oa.enfiep.com:8096/database/getDatabaseList ### 2.1. 接口功能 > 获取所有数据库列表 ### 2.2. 请求方式 > post ### 2.3. 请求参数无 |参数|必选|类型|说明| ### 2.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571275998118, "data": [ { "idDatabase": "1141970559445073920", --数据库ID "name": "jeesite4", --名称 "idDatabaseType": "MYSQL", --数据库类型 "idDatabaseContype": "Native", --链接类型 "hostName": "47.110.127.102", --地址 "databaseName": "jeesite4", --数据库名称 "port": 3306, --端口号 "username": "root", --用户名 "password": "Wind@2015", --密码 "servername": null, "dataTbs": null, "indexTbs": null }, {} ] } ## 3. http://www.oa.enfiep.com:8096/database/getTableList ### 3.1. 接口功能 > 根据数据库ID获取数据库中表列表 ### 3.2. 请求方式 > post ### 3.3. 请求参数 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |idDatabase|true|varchar|数据库ID| ### 3.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571276223611, "data": [ { "name": "act_evt_log", --数据库表名 "pId": "TABLE", --类型 "id": "act_evt_log", --表ID "title": "" --数据库表中文名 }, {} ] } ## 4. http://www.oa.enfiep.com:8096/database/getColumnList ### 4.1. 接口功能 > 根据数据库ID和表名获取表下所有字段列表 ### 4.2. 请求方式 > post ### 4.3. 请求参数 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |idDatabase|true|varchar|数据库ID| |tableName|true|varchar|数据库表名| ### 4.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571276414495, "data": [ { "tableName": "menu_query", --数据库表名 "tableCat": "jeesite4", --数据库名称 "columnDef": null, "columnName": "factory", --字段名 "typeName": "VARCHAR", 字段类型 "columnSize": 255, --字段长度 "decimalDigits": 0, "nullable": 1, "remarks": "" --字段备注 }, {} ] } ## 5. http://www.oa.enfiep.com:8096/database/saveDatabaseAlreadyConfigTable ### 5.1. 接口功能 > 添加已配置规则的数据库表 ### 5.2. 请求方式 > post ### 5.3. 请求参数 json格式提交 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |dbListId|true|varchar|数据库ID| |tableName|true|varchar|数据库表名| |chTableName|false|varchar|数据库表备注名| ### 5.4. 请求案例 { "dbListId":"1141970559445073920", "tableName":"t_tbl_warning_config" "chTableName":"预警配置表" } ## 6. http://www.oa.enfiep.com:8096/database/databaseAlreadyConfigTableList ### 6.1. 接口功能 > 根据数据库ID查询已配置规则的表的列表不传参数时查询所有数据 ### 6.2. 请求方式 > post ### 6.3. 请求参数 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |idDatabase|false|varchar|数据库ID| ### 6.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571277051699, "data": [ { "id": 2, --ID "dbListId": "1141970559445073920", --数据库ID "tableName": "t_tbl_warning_config", --数据库表名 "chTableName": "预警配置表", --数据库表备注名 "createTime": "2019-10-17 09:27:06", "updateTime": "2019-10-17 09:27:06", "createUserId": null, "updateUserId": null } ] } ## 7. http://www.oa.enfiep.com:8096/database/deleteDatabaseAlreadyConfigTable ### 7.1. 接口功能 > 根据ID删除已配置规则的表数据 ### 7.2. 请求方式 > post ### 7.3. 请求参数 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |id|true|Integer|已配置规则的表的ID| ### 7.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571277051699, } ## 8. http://www.oa.enfiep.com:8096/database/saveDatabaseBasisInfo ### 8.1. 接口功能 > 添加规则 ### 8.2. 请求方式 > post ### 8.3. 请求参数 json格式提交 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |alreadyConfigTableId|true|int|已配置规则表ID| |rulesType|true|int|数据规则 1数据量比对、2空值检查、3引用完整性检查、4值域检查、5重复数据检查、6脚本检查、7规范检查、8波动检查| |dbListId|true|varchar|数据库ID| |tableName|true|varchar|表名| |remark|true|varchar|检查描述| |level|true|int|重要等级等级分为1、2、3、4、5| |moreSet|true|varchar|更多设置,主要是sql| |databaseDetailNullValueList|true|Array(Object)|当rulesType=2时，空值检查列表| |--fieldName|true|varchar|字段名| |databaseValueThresholdCheckList|true|Array(Object)|当rulesType=4时，值域检查列表| |--fieldName|true|varchar|字段名| |--low|true|double|下限，精确小数点后四位 |--high|true|double|上限，精确小数点后四位 ### 8.4. 请求案例 ### 空值检查提交案例 { "alreadyConfigTableId":2, "rulesType":2, "dbListId":"1141970559445073920", "tableName":"menu_query", "remark":"测试一下remark", "level":5, "moreSet":"测试一下moreSet", "databaseDetailNullValueList":[{ "fieldName":"factory" },{ "fieldName":"name" },{ "fieldName":"tag" } ] } ### 值域检查提交案例 { "alreadyConfigTableId":2, "rulesType":4, "dbListId":"1141970559445073920", "tableName":"menu_query", "remark":"测试一下remark", "level":5, "moreSet":"测试一下moreSet", "databaseValueThresholdCheckList":[{ "fieldName":"factory", "low":1.2324, "high":2.3434 },{ "fieldName":"name", "low":1.2324, "high":2.3434 },{ "fieldName":"tag", "low":1.2324, "high":2.3434 } ] } ## 9. http://www.oa.enfiep.com:8096/database/getDatabaseBasisInfoList ### 9.1. 接口功能 > 根据已配置规则表ID查询规则列表当参数都为空时，查询全部；alreadyConfigTableId为空时查询当前数据下配置的规则列表 ### 9.2. 请求方式 > post ### 9.3. 请求参数 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |dbListId|false|varchar|数据库ID| |alreadyConfigTableId|false|Integer|已配置规则的表的ID| ### 9.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571282993250, "data": [ { "id": 2, --主键 "alreadyConfigTableId": 2, --已配置规则的表的ID "rulesType": 2, --数据规则 1数据量比对、2空值检查、3引用完整性检查、4值域检查、5重复数据检查、6脚本检查、7规范检查、8波动检查 "dbListId": "1141970559445073920", --数据库ID "tableName": "menu_query", --数据库表名 "remark": "测试一下remark", --检查描述 "level": 5, --重要等级等级分为1、2、3、4、5 "moreSet": "测试一下moreSet", --更多设置,主要是sql "status": 0, --状态 1启用0禁用默认为0 "createTime": "2019-10-17 10:58:57", "updateTime": "2019-10-17 10:58:57", "createUserId": null, "updateUserId": null, "databaseDetailNullValueList": null, "databaseValueThresholdCheckList": null }, {}, {} ] } ## 10. http://www.oa.enfiep.com:8096/database/detailDatabaseBasisInfo ### 10.1. 接口功能 > 根据规则ID查看规则详情级联子表 ### 10.2. 请求方式 > post ### 10.3. 请求参数 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |id|true|Integer|规则表的ID| ### 10.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571294122442, "data": { "id": 2, --主键 "alreadyConfigTableId": 2, --已配置规则的表的ID "rulesType": 2, --数据规则 1数据量比对、2空值检查、3引用完整性检查、4值域检查、5重复数据检查、6脚本检查、7规范检查、8波动检查 "dbListId": "1141970559445073920", --数据库ID "tableName": "menu_query", --数据库表名 "remark": "测试一下remark", --检查描述 "level": 5, --重要等级等级分为1、2、3、4、5 "moreSet": "测试一下moreSet", --更多设置,主要是sql "status": 0, --状态 1启用0禁用默认为0 "createTime": "2019-10-17 10:58:57", "updateTime": "2019-10-17 10:58:57", "createUserId": null, "updateUserId": null, "databaseDetailNullValueList": [//空值检查列表当rulesType=2时存在 { "id": "1", --主键 "basisInfoId": 2, --规则表ID "fieldName": "factory", --字段名 "createTime": "2019-10-17 10:58:58", "updateTime": "2019-10-17 10:58:58" }, {}, {} ], "databaseValueThresholdCheckList": [ { "id": "1", --主键 "basisInfoId": 3, --规则表ID "fieldName": "factory", --字段名 "low": 1.2324, --下限 "high": 2.3434, --上限 "createTime": "2019-10-17 11:26:57", "updateTime": "2019-10-17 11:26:57" }, {}, {} ] } } ## 11. http://www.oa.enfiep.com:8096/database/updateDatabaseBasisInfoStatus ### 11.1. 接口功能 > 根据ID修改规则表状态 ### 11.2. 请求方式 > post ### 11.3. 请求参数 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |id|true|Integer|规则表的ID| |status|true|Integer|状态 1启用0禁用| ### 11.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571294122442, } ## 12. http://www.oa.enfiep.com:8096/database/updateDatabaseBasisInfo ### 12.1. 接口功能 > 修改规则修改前先删除子表，然后添加子表 ### 12.2. 请求方式 > post ### 12.3. 请求参数 json格式提交 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |id|true|int|规则表ID| |alreadyConfigTableId|true|int|已配置规则表ID| |rulesType|true|int|数据规则 1数据量比对、2空值检查、3引用完整性检查、4值域检查、5重复数据检查、6脚本检查、7规范检查、8波动检查| |dbListId|true|varchar|数据库ID| |tableName|true|varchar|表名| |remark|true|varchar|检查描述| |level|true|int|重要等级等级分为1、2、3、4、5| |moreSet|true|varchar|更多设置,主要是sql| |databaseDetailNullValueList|true|Array(Object)|当rulesType=2时，空值检查列表| |--fieldName|true|varchar|字段名| |databaseValueThresholdCheckList|true|Array(Object)|当rulesType=4时，值域检查列表| |--fieldName|true|varchar|字段名| |--low|true|double|下限，精确小数点后四位 |--high|true|double|上限，精确小数点后四位 ### 12.4. 请求案例 ### 空值检查提交案例 { "id":2, "alreadyConfigTableId":2, "rulesType":2, "dbListId":"1141970559445073920", "tableName":"menu_query", "remark":"测试一下remark", "level":5, "moreSet":"测试一下moreSet", "databaseDetailNullValueList":[{ "fieldName":"factory" },{ "fieldName":"name" },{ "fieldName":"tag" } ] } ### 值域检查提交案例 { "id":3, "alreadyConfigTableId":2, "rulesType":4, "dbListId":"1141970559445073920", "tableName":"menu_query", "remark":"测试一下remark", "level":5, "moreSet":"测试一下moreSet", "databaseValueThresholdCheckList":[{ "fieldName":"factory", "low":1.2324, "high":2.3434 },{ "fieldName":"name", "low":1.2324, "high":2.3434 },{ "fieldName":"tag", "low":1.2324, "high":2.3434 } ] } ## 13. http://www.oa.enfiep.com:8096/database/deleteDatabaseBasisInfo ### 13.1. 接口功能 > 根据ID删除规则需删除子表 ### 13.2. 请求方式 > post ### 13.3. 请求参数 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |id|true|Integer|规则表的ID| |rulesType|true|Integer|1数据量比对、2空值检查、3引用完整性检查、4值域检查、5重复数据检查、6脚本检查、7规范检查、8波动检查| ### 11.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571294122442, } ## 14. http://www.oa.enfiep.com:8096/database/getQualityCheckStat ### 14.1. 接口功能 > 质量检查报表 5个 ### 14.2. 请求方式 > post ### 14.3. 请求参数无 ### 14.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571390749180, "data": { "databaseStatQualityDataTrendList": [ --数据质量走势列表 { "id": "1", --主键 "allCount": 1000000, --检查总数 "exceptionCount": 100, --异常数 "exceptionPercent": 0.01, --异常率 "date": "2019-10-16", --检查日期 "createTime": "2019-10-18 15:51:59" --创建时间 },{},{} ], "databaseStatRulesQuestionList": [ --各个规则发现问题数、问题率列表 { "id": "3", --主键 "rulesType": 2, --数据规则 1数据量比对、2空值检查、3引用完整性检查、4值域检查、5重复数据检查、6脚本检查、7规范检查、8波动检查 "allCount": 1000000, --检查总数 "questionCount": 150, --问题数 "questionPercent": 0.015, --问题率 "date": "2019-10-17", --检查日期 "createTime": "2019-10-18 16:01:06" --创建时间 },{},{},{},{},{},{},{} ], "databaseStatTableQuestionList": [ --各表发现问题数、问题率列表 { "id": "2", --主键 "dbListId": "1141970559445073920", --数据库ID "tableName": "t_tbl_user_cockpit_config", --表名 "chTableName": "用户驾驶舱指标设置表", --中文表名 "allCount": 1000000, --检查总数 "questionCount": 150, --问题数 "questionPercent": 0.015, --问题率 "date": "2019-10-17", --检查日期 "createTime": "2019-10-18 16:34:48" --创建时间 },{} ] } } ## 15. http://www.oa.enfiep.com:8096/database/getStatTrendDetailList?page=1&size=10&sort=createTime,desc ### 15.1. 接口功能 > 质量检查明细表分页 ### 15.2. 请求方式 > post ### 15.3. 请求参数 json格式提交 |参数|必选|类型|说明| |:----- |:-------|:-----|:-----| |dbListId|false|varchar|数据库ID| |rulesType|false|Integer|1数据量比对、2空值检查、3引用完整性检查、4值域检查、5重复数据检查、6脚本检查、7规范检查、8波动检查| |tableName|false|varchar|表名| |status|false|int|状态 1成功0失败| |date|false|varchar|日期批次格式 2019-01-01| ### 15.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571391454709, "data": { "content": [ { "id": "1", --主键 "dbListId": "1141970559445073920", --数据库ID "dbName": "jeesite4", --数据库名称 "tableName": "t_tbl_user_cockpit_config", --表名 "rulesType": 1, ----数据规则 1数据量比对、2空值检查、3引用完整性检查、4值域检查、5重复数据检查、6脚本检查、7规范检查、8波动检查 "remark": "出错了", --检查描述 "date": "2019-10-16", --日期批次，格式 2019-01-01 "status": 1, --检查情况 1成功0失败 "startTime": "2019-10-18 17:02:07", --开始时间精确到时分秒 "endTime": "2019-10-18 17:02:07", --结束时间精确到时分秒 "createTime": "2019-10-18 17:02:07" --创建时间 }, {},{},{},{},{},{},{},{},{} ], "pageable": { "sort": { "unsorted": false, "sorted": true, "empty": false }, "offset": 0, "pageSize": 10, "pageNumber": 0, "paged": true, "unpaged": false }, "totalPages": 2, --总页数 "totalElements": 16, --总条数 "last": false, "number": 0, "size": 10, "sort": { "unsorted": false, "sorted": true, "empty": false }, "numberOfElements": 10, "first": true, "empty": false } } ## 16. http://www.oa.enfiep.com:8096/database/getDataAssetsData ### 16.1. 接口功能 > 获取数据资产视图数据 ### 16.2. 请求方式 > post ### 16.3. 请求参数无 ### 16.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571456759999, "data": { "dataPriorityStat": { --数据优先级 "l_count": 61, --低级任务总数 "m_count": 56, --中级任务总数 "h_count": 137 --高级任务总数 }, "taskTotalCount": { --任务总数（本月） "total_job": 2605 }, "taskRunRankList": [ --任务运行排行，此处取前十条，页面显示前6条 { "job_name": "year_wuni_cost truncate", --任务名称 "cost_time": "1" --花费时间秒 },{},{},{},{},{},{} ], "taskSituationList": [ --任务概况列表只用取最新数据即可(第一条数据) { "date": "20191019", --日期 "total": 254, --总计任务数(每日) "failed": 2, --失败任务数(每日) "succeeded": 243, -- 成功任务数(每日) "running": 9 - 进行中任务数(每日) },{},{},{},{} ], "taskCountStat": { --运行、调用、完成、新增任务数 "total_job": 278, --运行任务数(今日)、调用任务数（今日） "succeeded_job": 272, --完成任务数(今日) "new_job": 25 --新增任务 }, "taskRunAllTrendList": [ --任务运行总体趋势 { "date": "20191008", --日期 "percent": 1.0000 --任务运行完成率 },{},{},{},{},{},{},{},{},{},{},{} ], "taskMonitorStatList": [ --ETL任务监控统计只用取最新数据即可(第一条数据) { "date": "20191019", --日期 "failed": 0.79, -- 失败任务占比(每日) "succeeded": 95.67, -- 成功任务占比(每日) "running": 3.54 -- 进行中任务占比(每日) },{},{},{} ] } } ## 17. http://www.oa.enfiep.com:8096/database/getDataAssetsFlowData ### 17.1. 接口功能 > 获取数据资产流图数据 ### 17.2. 请求方式 > post ### 17.3. 请求参数无 ### 17.4. 结果 { "status": 200, "message": "", "error": "", "error_description": "", "timestamp": 1571468862782, "data": { "countStat": { "table_num": 74.0, -- 接口数 "fields_num": 1795.0, -- 字段数 "counts_num": 9.8579127E7, -- 数据条数 "size": "42.469G", -- 数据总量（不含备份） "total_size": "127.529G", -- 数据总量（不含备份） "success_job": 54, -- 任务运行成功数量 "run_job": 0, -- 任务正在运行数量 "total_job": 56, -- 总任务量 "job_state": 96.4286 -- 任务运行成功率 }, "databaseStatQualityDataTrendList": [ --问题数列表取第一条 { "id": "4", "allCount": 1000000, "exceptionCount": 300, --问题数 "exceptionPercent": 0.03, "date": "2019-10-19", "createTime": "2019-10-19 15:37:46" },{},{},{} ], "cleanDataTotalList": [ --数据清洗后总量列表，取第一条数据（单位M） { "date": "20191019", --日期 "size": "42468.928M", --数据总量（不含备份） "total_size": "127528.670M" -- 数据总量（包含备份） },{},{} ], "dataGovernTotalList": [ --数据治理总量列表，取第一条数据（单位M） { "date": "20191019", --日期 "size": "42468.928M", --数据总量（不含备份） "total_size": "127528.670M" -- 数据总量（包含备份） },{},{} ] } }