大數據治理平臺

元數據管理

元數據統(tǒng)計

元數據相關信息統(tǒng)計概覽，包含數據源總數、元數據總數、占用總空間，以及數量、數據占用空間對比圖，熱門元數據排行等

數據源配置

管理平臺內需要對接數據的數據源信息，包含內部創(chuàng)建的數據源以及外部對接的數據源，數據源刪除走審批流程等

元數據采集

創(chuàng)建元數據采集任務，定義采集任務類型、名稱，以及采集對象（即數據源）名稱，支持批量定時采集任務配置

元數據信息

查看已采集到的元數據相關信息，包含字典信息、數據特征、字段信息、血緣信息、任務信息、數據預覽以及變更記錄

數據血緣

支持查看元數據血緣，并支持自動生成和編輯用戶編輯血緣關系，精確的字段級別，實現快速追溯上下游表關聯(lián)便于影響分析

數據地圖

平臺支持通過表名稱、字段名稱、服務名稱、注釋信息等查詢相關數據信息

數據標準

數據元管理

1.支持維護數據元標簽、數據格式、采用標準編號等標準的定義
2.數據元詳情通過時間軸可查看變更記錄，用于追溯，可查看數據元被引用記錄
3.數據元快速錄入、導入、導出、使用統(tǒng)計等
4.數據元操作需要審核操作，非管理員新增、編輯、刪除需要審核后生效，支持查看審核狀態(tài)及審核結果

數據標簽管理

1.平臺內置數據標簽也支持用戶自定義創(chuàng)建標簽，標簽分組，用于對數據源、元數據等進行標記、查找
2.可查看每個標簽詳情信息，被引用的次數統(tǒng)計以及引用的數據信息展示

數據字典管理

1.數據字典的添加、修改、刪除、導出等功能，管理字典及值域信息，能根據字典名稱、字典編號等進行字典查詢
2.內置數據字典，其他頁面使用時可引用，支持用戶可修改值域

數據資源目錄

1.按照交通標準行業(yè)體系或地方定制體系以樹形結構進行數據資源目錄管理，為目錄掛載標準數據元
2.支持快速錄入、導入、導出，創(chuàng)建和使用統(tǒng)計等
3.數據目錄操作需要審核操作，非管理員新增、編輯、刪除需要審核后生效，支持查看審核狀態(tài)及審核結果

標準文檔管理

根據文檔標準號、分類、來源、狀態(tài)等，統(tǒng)一對標準文檔進行管理，支持用戶查看、編輯、下載

數據標準統(tǒng)計

統(tǒng)計數據元、數據資源目錄發(fā)布提交數量、數據標準文檔、數據資產變化歷史趨勢、熱門數據元、數據資源目錄排行統(tǒng)計等

數據質量

規(guī)則配置

內置20多種質量檢測模版，配置數據質量檢測方案的規(guī)則

方案管理

管理數據質量檢測的方案管理，并引入平臺內已有規(guī)則，形成獨立成體系的檢測方案

任務管理

查看數據質量方案的執(zhí)行情況，包含方案內規(guī)則的異常數和正常數，以及規(guī)則的執(zhí)行狀態(tài)是否成功

質量報告

數據質量報告，平臺根據方案規(guī)則的執(zhí)行情況，總結輸出數據質量報告，包含檢測表總數、執(zhí)行任務總數、檢測規(guī)則總數、全規(guī)則通過表數、已通過規(guī)則數、規(guī)則不通過表數、未通過規(guī)則數、異常規(guī)則排行榜、異常表排行榜、質量檢測趨勢圖，并支持導出操作

數據比對

1.基礎數據比對：實現基礎元數據的比對，支持數據源、數據表、數據字段等，選擇不同的對比屬性執(zhí)行，生成比對報告
2.業(yè)務數據比對：實現業(yè)務數據比對，包括數據表、字段hash值、MD5值等規(guī)則比對，比對結果展示差異數據量及行位置
3.比對規(guī)則管理：支持業(yè)務數據比對規(guī)則管理、新增、修改、刪除、啟停控制等
4.比對記錄：展示保存的所有比對結果，并支持下載導出，可保留比對條件再次比對

數據服務

API管理

創(chuàng)建發(fā)布管理API接口，可對API進行分組，可查看API發(fā)布狀態(tài)、使用應用數、調用總次數、以及API接口的情況測試

應用管理

創(chuàng)建應用，配置接入的API、日調用次數限制，系統(tǒng)自動APPKEY和秘鑰信息，調用次數超限后不可應用

數據脫敏

設置數據脫敏規(guī)則，掩碼、HASH、假名、截斷等多種方式，實現分享安全性

API調用記錄

展示API調用明細，可查看調用時間、響應時間、調用是否成功、調用日志以及根據API及調用狀態(tài)、時間等檢索

分析報告

查看平臺內API整體調用分析報告，包含API發(fā)布總數、調用應用數、調用總次數、API調用總次數排行、應用調用API總次數排行、API調用平均耗時對比

數倉建模

版本管理

創(chuàng)建數倉版本名稱、版本號管理、可查看版本內表數量、復制版本內表結構

數據層配置

配置數倉數據層，包含分層名稱、英文標識、抓取規(guī)則、抓取范圍、表數量、狀態(tài)

主題域配置

配置數倉主題域，包含主題域名稱、英文縮寫、表數量等

數據表設計

可視化建模，可引用標準數據元，配置數倉內數據表結構的標準設計

數據開發(fā)

腳本模板配置

統(tǒng)一管理常見通用腳本，并維護為腳本模板，方便后續(xù)腳本開發(fā)進行引用

開發(fā)腳本配置

配置開發(fā)腳本，通過腳本編輯處理數據遷移等需求，支持腳本內容的生成和下載

數據探查

數據表探查

查看不同數據源內的數據表數據情況，包含表基礎信息、可視化條件的點選對表內數據進行過濾達到探查目的，支持探查結果的下載

自由探查

通過sql語句對不同數據源內的數據表進行數據的自由探查，支持探查結果的下載

數據訂閱

訂閱任務

維護數據推送訂閱任務，包含任務名稱、任務描述、訂閱方式、訂閱頻率、訂閱渠道等信息

全量任務清單

查看平臺內所有訂閱任務的執(zhí)行任務清單，查看任務執(zhí)行狀態(tài)，以及同步數據數據量，執(zhí)行日志等

大數據調度計算系統(tǒng)

首頁

離線項目數據概覽

1.可視化統(tǒng)計：各任務和流程總數及當前各狀態(tài)監(jiān)控統(tǒng)計（提交、運行、暫停、停止、成功/失敗、kill、等待等）
2.以項目維度分析，查看各狀態(tài)任務在項目中分布，便于查看項目情況，定位哪個項目失敗次數多，針對性分析
3.以用戶維度分析，各用戶創(chuàng)建的工作流數量統(tǒng)計對比分析，并查看每個用戶創(chuàng)建的工作流細節(jié)詳情

實時項目數據概覽

1.可視化統(tǒng)計各實時項目的總數及當前各任務狀態(tài)數量對比，并支持跳轉到各任務實例查看運行詳情信息
2.以用戶維度分析，各用戶在運行中任務/失敗中任務分布

離線項目管理

項目管理

離線項目的增刪改查，可查看每個項目的工作流定義數量、正在運行的進程數量等統(tǒng)計信息

項目首頁

點擊每個項目查看單項目首頁：可視化統(tǒng)計該項目的任務狀態(tài)、流程狀態(tài)、各角色流程定義量統(tǒng)計

工作流

1.工作流定義：通過面板上拖拉拽任務來繪制DAG，可配置租戶、設置超時告警、工作流支持復制、導出、定時策略配置、樹形圖查看等靈活操作
2.工作流實例：工作流定義運行后，查看每個工作流的運行情況，以甘特圖形式查看各個狀態(tài)的運行節(jié)點時間軸
3.任務實例：每條任務的運行信息、運行時長、重試次數等任務詳情信息，可查看運行日志

實時項目管理

任務管理

1.任務列表：Flink實時項目的管理，支持SQL任務和JAR任務創(chuàng)建及查詢，支持導入腳本模版，格式化代碼，語法提示，SQL預校驗等幫助快捷準確錄入
2.歷史版本：每次任務的變更自動生成版本，記錄各個版本的變更詳情

運行日志

查看及檢索各個任務，各版本運行日志情況、任務狀態(tài)，日志存放位置，日志詳情等信息

資源中心

文件管理

文件夾和文件管理，支持多種格式文件的導入、在線編寫及統(tǒng)一管理

UDF管理

資源管理和自定義函數管理，可上傳資源文件，通過頁面綁定資源創(chuàng)建管理UDF函數

數據源中心

數據源管理

數據源創(chuàng)建、測試、增刪改查管理，數據治理平臺數據源信息也會同步到該頁面，雙向同步

監(jiān)控中心

服務管理

可視化統(tǒng)計各個服務的監(jiān)控信息，包含Master、Worker、Zookeeper、DB等監(jiān)控狀態(tài)、CPU、內存、負載、延遲情況等統(tǒng)計

統(tǒng)計管理

任務統(tǒng)計：統(tǒng)計待執(zhí)行命令、失敗命令、待運行任務、待殺死任務數量

配置中心

租戶管理

租戶的增刪改查管理，租戶的編碼、名稱、隊列等信息

用戶管理

用戶的增刪改查管理，賬號、密碼、郵箱、手機、所屬租戶等信息，可以為用戶授權項目、文件資源、數據源、UDF函數等

告警組管理

管理告警組，配置告警方式，配置接收預警的用戶人員

worker分組管理

管理worker分組，可選擇多個主機分配到一個組中，實現集中監(jiān)控

隊列管理

管理隊列，實現隊列增刪改查，錄入隊列名稱、隊列值信息

令牌管理

管理令牌，自動生成令牌，設置失效時間、選擇用戶等

大數據集群管理

集群管理，創(chuàng)建和管理大數據集群信息，包含Hdfs集群、yarn管理地址、hdfs地址、filink環(huán)境hdfs路徑等信息

大數據運維監(jiān)控平臺

總覽

數據概覽

查看平臺監(jiān)控數據概覽情況，包含主機監(jiān)控、服務監(jiān)控、監(jiān)控告警統(tǒng)計、監(jiān)控告警趨勢、監(jiān)控告警排行TOP10、采集日志量趨勢、服務error日志TOP5等可視化統(tǒng)計維度

拓撲圖

1.服務器拓撲圖：查看各主機設備健康狀態(tài)及連接狀況，并可查閱告警信息，定位告警問題
2.服務集群拓撲圖：查看各大數據服務組件、類型、實例、角色聯(lián)絡關系及異常情況，產生異常后通過拓撲圖一目了然定位
3.拓撲圖上查看服務器/服務的基本信息、監(jiān)控信息、告警信息，并可執(zhí)行運維事件：啟動、停止、重啟操作
4.拓撲圖支持放大、縮小、全屏及導出操作

監(jiān)控管理

服務器監(jiān)控

1.列表展示監(jiān)控的各個服務器信息，可通過服務器名稱、IP、狀態(tài)等進行篩選
2.服務器節(jié)點詳情：查看各服務器內存、cpu、磁盤、讀寫變化情況及告警記錄
3.支持查看每個服務器下的各服務監(jiān)控情況、掛接的接口、端口等網絡監(jiān)控以及日志詳情

服務監(jiān)控

1.列表展示各服務集群，可通過各服務集群、服務器類型、各服務健康狀態(tài)等搜索
2.服務監(jiān)控詳情：支持各服務監(jiān)控指標可視化展示，包含角色指標以及jvm指標多維度對比分析
3.支持大數據組件：hdfs、yarn、kafka等服務類型整體監(jiān)控及各個服務角色分別監(jiān)控，多監(jiān)控信息可視化展示

網絡監(jiān)控

1.接口監(jiān)控：接口信息管理，實現實時在線接口監(jiān)控包括：接口名稱、源主機、監(jiān)控地址、請求方式、返回碼、響應時間、監(jiān)控狀態(tài)以及可視化圖表分析：響應時長對比圖、返回碼分布統(tǒng)計等
2.端口監(jiān)控：端口信息管理，實現實時在線端口監(jiān)控包括：源主機、IP、端口、監(jiān)控狀態(tài)以及響應時長對比等

運維管理

運維服務列表

1.展示支持運維的服務列表，從服務類型-服務角色-服務實例，可批量整體或單個實例操作運維事件
2.運維事件操作后可查看任務執(zhí)行的進度，操作日志，執(zhí)行結果等信息

運維操作記錄

1.記錄所有執(zhí)行的運維操作，包括服務信息、操作事件、操作人、操作時間、操作日志，并支持檢索，用于操作記錄追溯和查詢

巡檢管理

巡檢計劃

1.支持自定義巡檢計劃:選擇檢查項、巡檢周期、巡檢機器范圍、通知人等信息，系統(tǒng)自動根據周期執(zhí)行，也可手動操作巡檢
2.巡檢項包含系統(tǒng)檢查：cpu、內存、磁盤、網絡、用戶以及應用檢查：端口檢查、進程占用資源對比，并內置危險閾值，檢測異常提醒

巡檢歷史

1.按照巡檢計劃和巡檢服務器維度，查看每次巡檢記錄，巡檢結果，檢查到異常服務器信息以及異常隱患點
2.巡檢報告支持頁面預覽和批量excel導出下載

告警管理

告警配置

1.通知管理：管理各個告警人信息、所屬告警組管理
2.指標管理：配置各個告警指標名稱、指標類型、表達式，支持內置指標展示，用戶也可自定義創(chuàng)建
3.規(guī)則管理：平臺內置規(guī)則，如離線、內存/CPU/磁盤過高等，并支持用戶自定義創(chuàng)建規(guī)則，配置規(guī)則基礎信息、資源范圍、指標參數、通知規(guī)則、通知方式、通知時間等靈活可視化操作

告警歷史

告警歷史包含：服務器告警、服務告警、接口告警、端口告警等
1.查看平臺內全部告警信息，可通過主機名、主機IP、告警狀態(tài)、發(fā)生時間、告警級別、告警規(guī)則等多維度聯(lián)合檢索
2.告警詳情展示告警的全量信息，包含告警的基礎信息、從開始檢測異常、告警、推送、恢復全生命周期時間軸展示

日志管理

日志檢索

1.支持對主機日志查詢和檢索，支持通過主機IP、主機名稱、日志等級、開始/結束時間、關鍵字匹配進行檢索
2.服務日志支持通過服務集群、服務類型、角色、實例、開始/結束時間、日志等級、關鍵字等多維度綜合檢索
3.服務發(fā)生異常后，可快速跳轉日志定位

日志采集管理

配置日志采集對象，設置日志日志等，支持新增、編輯、刪除

配置管理

服務器配置

1.服務器組管理，多個服務器可歸屬于一個服務器組
2.服務器管理，管理主機IP、用戶名、責任人、所屬服務器組、當前健康狀態(tài)等，并且可根據實際業(yè)務情況配置是否進行主機監(jiān)控、進程監(jiān)控，可為服務器配置關聯(lián)的接口和端口等用于網絡監(jiān)控

服務配置

1.服務集群管理，根據業(yè)務情況管理多集群、多類型大數據組件服務，支持配置多個服務角色、關聯(lián)多個服務實例，通過平臺可靈活操作
2.可標注服務是否支持運維，如果支持運維后通過平臺可操作啟動、停止、重啟等事件

大數據共享交換平臺

首頁

共享資源門戶

1.提供數據資源的一鍵查詢，能按照關鍵字、行業(yè)、業(yè)務、主題等分類檢索
2.當前數據資源統(tǒng)計：數據目錄數、文件數、接口數，以及使用量統(tǒng)計：接口調用次數、文件下載次數
3.依據產品應用場景，按照行業(yè)、主題資源分類展示和統(tǒng)計共享資源

數據資源

數據目錄

1.資源目錄導航圖:采取導航欄 列表的形式，根據資源開放性進行資源展示，可以根據層級對資源進行篩選查看
2.數據目錄基礎信息：包括資源名稱、內容簡介、數據來源、更新時間、提供部門、所屬分類、使用統(tǒng)計等
3.數據目錄按照共享條件分為無條件共享可查看數據文件，有條件共享需要申請審核后使用接口服務

數據接口

1.展示可共享的接口服務，可以根據接口類型分門別類查看和篩選
2.數據接口信息：包含接口名稱、調用地址、發(fā)布信息、在線測試、使用統(tǒng)計及調用方法等
3.服務接口申請：申請內容包括接口名稱、申請用途、申請要求、申請人、申請單位、資質文件等內容

數據統(tǒng)計

數據概覽

統(tǒng)計納入共享的數據資源數、接口數、文件數，熱門接口和數據文件，共享任務的執(zhí)行情況：調用失敗總數
并按照單位的維度統(tǒng)計出數據共享情況和數據被使用情況，便于宏觀掌握，通過數據對比指導業(yè)務分析

接口統(tǒng)計

1.按照部門、接口維度分別統(tǒng)計獲悉各個接口使用度對比，以及各部門單位使用接口的情況
2.以列表的形式直觀展示所有接口調用記錄，接口提供部門、使用人、調用狀態(tài)、時間等信息及檢索

文件統(tǒng)計

1.按照部門、文件維度分別統(tǒng)計查看數據文件下載使用度對比，以及各部門單位下載量的情況
2.以列表的形式直觀展示所有數據文件下載記錄及檢索

共享管理

目錄管理

針對管理員提供數據資源目錄查看，并進行共享配置：資源名稱、共享方式、共享條件、更新頻率、使用限制等；
并根據數據資源類型，結合實際的業(yè)務應用，掛接服務接口或者提供數據文件下載

接口管理

針對管理員提供所有的服務接口查看功能，并根據業(yè)務需求配置是否允許共享，共享條件等

審核管理

待審核

1.針對用戶申請的數據資源，由管理者進行單個或批量資源審核，可同意或駁回，填寫審核意見
2.可查看及檢索所有提交審核記錄，資源信息、申請人信息、申請時間、申請原因

已審核

1.審核通過信息會傳遞到共享開放列表中，用戶可查看基礎信息并進行申請調用
2.可查看及檢索所有審核記錄，包含審核通過和駁回記錄，駁回原因、資源信息、申請人審核人信息、部門、時間等

駐場服務：自合同簽訂之日起至2025年12月31日期間，項目負責人及服務團隊人員需按采購人要求提供駐場技術服務。