大數據時代的數據共享與交換平臺
高效處理引擎,強大的緩存機制,流式質量控制,動態數據脫敏
直觀的圖形界面,自動化配置與運維
開發人員只需在圖形化環境中通過拖拽方式就可以描述復雜的數據變換和任務流程,不需要進行任何編碼,業務人員也可非常容易的了解數據的流向
調度及相關配置簡單、靈活、易用;支持靈活的、多角度的模型作業調度機制,包括事件、數據庫就緒、文件到達和計劃調度以及手工觸發
提供了總攬全局的總體監控和明細型的計劃監控以及事件監控;可視化的多維度作業運行監控,使得良好的易用性獲得最大限度推廣;提供調度環境多個DI引擎的資源監控,包括CPU占用、內存使用、磁盤空間等信息
完善的資源監控功能,可以對管理服務器、調度服務器、代理服務器以及物理機器的CPU、內存等資源進行全面的監控和管理,另外也通過配置監控服務器的連接狀態等
在構成一個作業流的諸多作業中,可以對每一個作業依據參數、作業執行狀態、作業返回碼等要素進行控制,從而實現對作業流更精準和復雜的控制,滿足實際項目多種運用場景的需要。
支持主流數據庫;能自動生成ETL Job、存儲過程以及DI數據處理模型,提高開發效率,規范開發過程。
強大的數據轉換效率,執行能力使其所能處理數據的速度可以得到趨近于線性的擴展,輕松處理大量數據。提供集群服務,大規模并行處理使其能夠適應大規模企業級應用,具有很高的擴展性。
一個數據處理模型在一組引擎上運行的時候,可以通過配置實現模型的均衡負載運行,最大化的發揮DI引擎的處理能力,以及協調集群的處理能力,提高數據處理的吞吐率。
提供了簡單易用的二次開發接口,用戶可以很容易的定制開發各種數據轉換和任務組件,并能在應用中實現調用執行
圖形化的調試和監控工具,可以直觀顯示任務的執行,可以實時檢測系統在各環節的數據處理性能,并以曲線圖的方式顯示。
提供了基于時戳、基于觸發器、全文比對等各種方式的變化數據捕獲機制,提供批量抽取、實時抽取、定時抽取等各種數據抽取執行策略。
平臺采用Java開發,可以運行在多種操作系統;支持多種數據源。
快速通過模型設計器或者作業自動化生成工具實現數據處理模型,完成數據庫、半結構化、非結構化數據之間的ETL工作。大大節約了開發周期以及開發難度。
強大的作業調度以及管控能力,使得數據處理更加業務化、可視化,使得企業的信息化部門可以更加方便、全面地了解數據處理模型的運行情況,有助于迅速定位和排除故障,更重要的是為及時主動的采取業務優化措施提供了可能性。
組件、模型持續積累能力,可高效的開發、積累和復用已經設計好的數據處理模型,通過元數據倉庫對模型信息進行有效管理,持續性的降低了開發成本、管理成本以及人員流失成本。