媒體與新聞
王建華:文件型數據傳輸是部門、企業之間重要的數據傳輸方式。在國家大力支持信創產業、推進國產化進程的浪潮下,如何建立一種安全、高效、高容錯、自動化的文件傳輸平臺,穩妥替換原有平臺,實現全面向國產架構體系化遷移,在信創架構下支撐企業內與企業間的資源共享,滿足數據驅動的創新發展,成為了信創工作的重要課題。
在金融等眾多行業用戶的信創實踐中,文件傳輸信創工作落地中遇到的眾多問題與難點,可以歸納為文件傳輸平臺向國產架構體系化遷移的三重挑戰。
★ 挑戰一:文件傳輸是否能平滑遷移?
聚焦“平滑遷移”,需要提供完備方案,降低遷移風險,并保障遷移到國產環境后的平穩運行。
★ 挑戰二:能否滿足海量文件高性能需要?
聚焦“高性能”,需要使用符合高性能要求的信創產品,保障遷移到信創環境后系統的良好運行,性能滿足業務高并發需求,以及后續業務連續增長對性能提升的要求。
★ 挑戰三:能否涵蓋原有文件傳輸平臺的所有能力?
聚焦“平臺能力”,需要使用具備全面能力的信創產品,保障遷移到信創環境后,能夠覆蓋原有文件傳輸所有功能,無縫兼容原有傳輸業務。
三重挑戰集中體現了文件傳輸信創工作中的重中之重,是如何構建高性能、安全可控的大文件傳輸平臺,護航從原有架構平滑地全面遷移到信創架構,并滿足業務性能以及不斷增長的需要,通過平滑遷移能力,無侵入式保障文件傳輸可靠運行,保障體系化遷移落地。
02
文件傳輸信創項目建設的實踐路徑
自國家組織實施信創工程以來,信創工程經過多期試點,范圍從黨政辦公擴大到政務信創、金融信創、企業信創等全領域范圍。各類型數字化信創落地場景推動了高頻次細碎以及超大文件傳輸需求的持續擴張,文件傳輸信創在不同類型的項目建設中,形成了從情況摸底、遷移分析到實施落地的實踐路徑。
★ 文件傳輸情況摸底
對正在運行的文件傳輸情況、傳輸節點部署、文件使用情況進行詳細摸底,包括系統數據量,文件傳輸任務量、系統節點交換、文件傳輸調度等。
★ 文件傳輸遷移分析
進行包括操作系統、數據庫、傳輸模式等在內的技術路線總體可行性分析,以及原有系統、現有部署架構、傳輸模式的改變、業務系統配合等遷移影響分析,需要詳細了解所選擇的技術路線對客戶業務系統會產生哪些影響。
★ 文件傳輸實施及遷移方案
分步遷移,從辦公系統、一般業務系統、核心業務系統的順序進行遷移,分步遷移要考慮共生,最終制定詳細的實施方案、遷移方案及計劃。
03
如何滿足信創平滑遷移:
體系化的文件傳輸遷移方案
遵循文件傳輸信創項目建設的實踐路徑,形成了基于大文件傳輸平臺BFT的體系化文件傳輸遷移方案,幫助用戶根據具體需求,以貼合實際的替換方案快速完成信創實踐。
★ 兼容性替換方案,實現對國外同類產品的無縫替換
普元大文件傳輸平臺BFT高可靠、易管控、分布式、可擴展,是覆蓋信創關鍵領域提供替換方案的全棧式信創中間件產品之一?;贐FT的兼容性替換方案,是新老系統兼容性方案,能夠兼容原有的傳輸接口、對接操作系統權限,完成對原系統的無侵入改造,順利推動新老系統并行運行、千計節點快速替換、安裝部署快速驗證、傳輸任務遷移、遠程更新管理等,實現對國外同類產品的無縫替換。同時,BFT針對信創環境進行了深度優化,整體性能提升一倍,并支持去中心節點化,實現點對點傳輸,可以讓沒有拆分、合并、過濾處理等特殊要求的任務,通過節點直傳方式快速完成。
★ FTP遷移替換方案,實現原有系統的信創升級
基于BFT的FTP遷移替換方案,同樣支持對原系統的無侵入改造,提供API快速接入能力,順利推動新老系統并行運行、海量節點快速部署、傳輸任務遷移、遠程更新管理等,實現原有系統的信創升級。同時,BFT適配全棧信創環境,滿足業務高并發性能的需要,安全合規,傳輸可控、可擴展,確保系統可靠運行。
04
如何滿足海量文件傳輸高性能需要:
針對信創環境深入優化
基于信創實踐,體系化的文件傳輸遷移方案針對信創環境進行深入優化,以易用、高效、安全的分布式大文件傳輸平臺,支持大文件傳輸、批量文件傳輸、SM4加密傳輸等各類型傳輸場景,滿足海量文件傳輸高性能需要。
同時,我們還聯合合作伙伴,實現覆蓋基礎硬件、基礎軟件到應用系統的全棧體系優化,通過更有競爭力的全棧解決方案,助力金融、電信、政務等多行業解決信創工作中的多重難題。
★ 涵蓋原有平臺所有能力,打造易用、高效、安全的分布式大文件傳輸
Primeton BFT是高可靠、易管控的分布式大文件傳輸平臺。產品基于安全、高效的數據傳輸技術架構,結合多種容錯與安全機制,實現大文件傳輸、分發傳輸、壓縮傳輸、加密傳輸等功能;提供簡潔易用的配置管理界面,使用者無需進行復雜的操作,只需通過簡單的界面配置即可完成數據傳輸任務的定義、運行、監控與管理。因此,Primeton BFT能夠涵蓋原有平臺所有能力,無縫替換不符合信創環境要求的數據文件交換平臺。
具體實踐中,BFT提供的文件自動傳輸、文件加密傳輸、文件傳輸客戶端、文件傳輸監控、全面監控統計、功能和資源權限管理等多項功能,保障了全鏈路追蹤傳輸審計,實現了易用、高效、安全以及可定制化的文件傳輸服務,支撐多種交換模式下的集群高可靠傳輸、文件安全傳輸、超大及海量文件傳輸,安全合規,滿足監管要求。
Primeton BFT涵蓋原有平臺所有能力
打造易用、高效、安全的分布式大文件傳輸
★ 文件傳輸能力支撐-高性能與可靠性、支持大規?;瘧?/span>
(1)集群高可靠傳輸
文件傳輸平臺以分布式集群模式進行部署,可部署多臺控制管理中心,對外統一提供WEB界面進行系統管理維護;
管理節點以多活形式進行部署,管理所有在線代理節點;
Server以多活模式運行,可動態擴展;
LOG以多活模式運行,可動態擴展;
傳輸節點多節點部署,以主備模式運行,當主節點宕機后,其他同組節點將競爭成為主節點,保障異常情況下文件傳輸正常運行。
(2)文件安全傳輸
傳輸過程加密傳輸,內置DES、AES、SM4加密算法,ZIP、RAR壓縮算法;支持通過擴展方式動態添加加密、壓縮方式。
(3)超大及海量文件傳輸
通過點對點、文件分片技術支持TB級以上大大傳輸,通過并發任務支持海量文件高速傳輸。
★ 高開放、易擴展
(1)多種數據交換模式
提供點對點直傳、文件中轉路由傳輸能力,支持內外網文件傳輸。
(2)全鏈路追蹤,傳輸審計
按任務統計分析、按節點統計分析、全節點統計分析、全鏈路追蹤
★ 國產生態適配(芯片、操作系統、數據庫)
普元文件傳輸專門針對國產信創環境進行深度性能優化。例如,在與華為鯤鵬實驗室的深度合作中,普元大文件傳輸產品針對鯤鵬體系進行了深度性能優化,性能較主流方案性能大幅提升,更好支撐企業級業務場景的性能需求,保障文件可靠、安全的傳輸。大文件傳輸場景,相對于業界主流方案 TPS 提升36.01 % ;批量文件傳輸場景,相對于業界主流方案 TPS 提升99.72%;AES加密傳輸場景,更是相對于業界主流方案 TPS 提升131.91% 。
各類型傳輸場景
相對于業界主流方案 TPS 大幅提升
(圖片來源:鯤鵬創新中心)
同時,文件傳輸可以根據客戶選擇的其它信創環境,針對大并發的場景,進行有針對性的優化提升。
(1)文件系統優化:針對IO密集型操作,應用異步IO方式優化文件系統讀取效率。
(2)線程優化:針對 JDK優化線程池參數,最大程度發揮處理效率。
(3)CPU計算優化:應用CPU高速緩存,優化文件打解包、轉碼、加解密等操作的處理效率。
(4)設備驅動調優:通過優化內核驅動,對網絡、存儲設備等驅動模塊進行調優,以適應高并發、高隨機數據流吞吐。
(5)內核參數調優:對內核參數進行優化調整,通過最大化利用頁緩存、減少系統API調用次數,提升文件讀寫效率。
★ 安全合規,滿足等保、監管要求
Primeton BFT支持傳輸全鏈路追蹤、傳輸實時監控、傳輸審計等安全審計需要,保障文件分組分類等文件使用安全,實現完整性校驗防篡改等傳輸安全,安全合規,能夠滿足等保、監管要求。
Primeton BFT安全合規,滿足等保、監管要求
★ 支持云化(容器)部署、全面支持IPV6、微服務類應用
Primeton BFT支持云化(容器)部署、全面支持IPV6、微服務類應用,滿足金融等數字化與信創并進行業的云原生需求。
05
文件傳輸信創項目典型實踐
普元大文件傳輸平臺BFT成功應用于金融、政府、軍工、通信、教育、能源等行業,推進典型實踐。在金融客戶的應用場景中,我們基于大文件傳輸平臺BFT,幫助客戶滿足特色需求,實現文件傳輸信創實踐的全面落地。
★ 某國有銀行總行 ★
普元大文件傳輸產品實現數據交換平臺信創重構,逐步全面替換國外同類產品
企業級數據交換平臺是銀行IT系統規劃中數據服務的基礎設施。在某國有銀行總行,此類平臺承接全行幾百套系統、幾十家分行、日均40萬+批量文件的交換任務,有迅速增長的數據量擴容成本過大,基于國外原有產品進行傳輸,日新月異的IT技術難以兼容,以及信創標準難以滿足等痛點。
因此,銀行采用了基于普元大文件傳輸平臺BFT的兼容性替換方案,通過國產傳輸中間件BFT產品兼容原有功能,解決系列痛點,滿足海量、高效的文件交換、批量數據全鏈路監控、智能化運維等需求,采用分布式架構、具備彈性擴縮容能力,提升銀行基礎數據服務水平。
★ 某城市商業銀行 ★
普元大文件傳輸平臺匹配銀行特色需求,實現全行傳輸零故障、及時率100%
在某城市商業銀行,早期采用其他產品進行文件傳輸,該產品不是針對銀行信息化系統特色需求研發,無法滿足客戶需求,存在可靠性低、無法支持API模式零碎文件傳輸、大批量高并發環境下偶發文件丟失、產品運維困難、銀行難以接手實現自主可控等痛點。
因此,銀行采用了基于普元大文件傳輸平臺BFT的遷移替換方案,支持雙模配置、節點管理、節點熱備、數據保護、API接口等,在逐步替換中,保障傳輸零故障、及時率100%,目前已部署2000多個傳輸節點,實現全行替換原有的文件傳輸平臺,達到全國產化與匹配銀行特色需求的目標。
在信創工程向多行業拓展的趨勢下,我們將融合典型案例經驗,更深入地助力各類型客戶構建高性能、安全可控的大文件傳輸平臺,保障客戶信創體系化遷移落地。同時,我們也將協同全棧式信創中間件產品及服務,幫助客戶在更廣泛的場景中實現信創完整落地。
關于作者:王建華,普元信創軍團資深顧問,十余年IT從業經驗,致力于數據服務共享、數據集成、服務治理、數據治理相關產品的架構與研發,具備較為領先的產品研發思路和豐富的實施落地經驗,帶領和參與了普元BFT、DSP、DI、ESB、MetaCube產品的研發,同時參與政府、保險、電力、公安、通信等多個領域數據項目的前期咨詢及實施工作。
關于EAWorld:使能數字轉型,共創數智未來!