整合底座專案實施總結
2022-01-09由 數通暢聯 發表于 農業
專案實施情況怎麼寫
整合底座是基於IDM、MDM、ESB三個核心產品組合打造的一套解決方案,主要
解決企業資訊化建設過程中業務系統打通以及基礎業務整合整合的問題
,透過構建企業整合底座,實現各業務系統間的統一認證,保證業務系統訪問的一致性;實現各系統基礎資料的同源,保證資料一致性的同時為後續複雜的業務整合、財務整合等提供基礎資料支撐。
最近參與了幾個整合底座的專案實施工作,根據實際專案中實施的方式和效果,整理了對於整合底座專案實施的具體模式,包括系統的對接方式以及相關標準的制定,為後續整合底座專案的實施與培訓提供借鑑。
總體介紹
整合底座是
基於IDM、MDM和ESB三個核心產品構建的整合解決方案
,主要打通業務系統壁壘,建立各業務系統的統一認證平臺,同時實現組織、崗位、人員、客戶、供應商等基礎資料的同源統一。
1.產品清單
整合底座主要包括IDM統一身份認證平臺、MDM基礎資料管理平臺、ESB企業服務匯流排平臺三個核心產品,以及UMC雲管理平臺。
1。
IDM統一身份認證平臺
:主要為業務系統搭建統一認證平臺,透過預置的OAuth、CAS、認證介面等方式實現各系統的統一認證和單點登入,同時進行組織、角色、使用者的管理,並根據需要為下游系統提供使用者賬號資訊;
2。
MDM基礎資料管理平臺
:透過平臺進行基礎資料管理,將組織、崗位、人員、客戶、供應商等基礎資料同步至MDM平臺,並基於MDM的分發機制分發給下游業務系統;
3。
ESB企業服務匯流排平臺
:統一的服務管理以及整合構建平臺,基於API管理、應用整合快速構建IDM、MDM以及業務系統整合的整合服務介面,實現資料和服務的對接;
4。
UMC雲管理平臺
:統一的叢集管理平臺,管理K8S叢集,以及IDM、MDM、ESB等產品的容器化部署、升級,同時支援容器的水平、垂直擴充套件。
2.整合架構
整個整合底座方案的整合架構
以IDM、MDM為主要的資料管理端,以ESB作為整合通道
,透過ESB將源頭系統的組織、崗位、人員等基礎資料同步至MDM平臺,從而實現基礎資料同源一致以及全生命的管理,再透過ESB將治理後的基礎資料分發至下游系統,包括IDM平臺以及IDM實現賬號的統一管理以及統一認證,從而構建一體化的整合底座平臺,基於整合底座實現和上下游系統的聯動。
3.部署架構
整體部署採用雲平臺的部署方案,搭建K8S高可用整合,容器化部署IDM、MDM、ESB等產品,部署架構圖如下:
本次採用了8臺伺服器進行部署,其中
3個master,5個worker
,其中IDM、ESB、MDM採用容器化部署在5個worker節點上,其中worker1、worker2用於部署開發、測試環境,兩臺伺服器各一個節點,worker3、worker4、worker5用於部署3個節點的生產環境。
實施說明
對於整合底座專案的實施,主要針對實際專案中IDM、ESB、MDM產品的整合模式進行梳理,主要包括
主資料同步、主資料分發、使用者分發
三部分內容。
1.方案設計
1。
主資料同步
:
1)源頭推送資料(或者推送查詢標識)至ESB的整合流程;
2)ESB的整合獲取源頭資料(或者透過查詢標識從源頭查詢資料)後,在整合流程內部呼叫MDM的介面;
3)生成主資料編碼,並將資料寫入MDM,同時生成任務和同步日誌;
4)ESB整合流程呼叫MDM的自動提交介面將任務提交至MDM的BPM工作流中,BPM工作流透過呼叫ESB的分發流程實現資料向下遊系統的分發。
2。
主資料分發
:
1)透過ESB開發主資料分發的整合流程,提供給MDM的BPM工作流進行呼叫;
2)整合流程的入參為MDM任務的taskId,透過taskId查詢MDM的任務資料,並根據業務要求進行資料處理;
3)處理後呼叫下游系統的資料接收介面將資料寫入到下游系統中;
4)下游系統完後資料寫入後呼叫MDM的日誌回寫介面進行資料回寫操作。
3。
使用者分發
:
1)使用者分發主要是透過IDM將登入使用者資訊分發至下游系統,實現各系統的統一認證和單點登入;
2)使用者分發涉及兩種場景,一是業務系統的使用者和人員資訊是一致的,那麼直接透過MDM分發人員至下游系統即可,IDM只需要管理認證資訊,不需要對下游進行分發;二是業務系統的使用者和人員是分開,那麼MDM負責人員的分發,IDM則負責賬號的分發;
3)IDM使用者分發主要是將IDM的人員資訊透過任務的形式分發下游系統,和MDM的分發方式類似;
4)在人員資訊進入IDM平臺,可以手動或自動的方式生成分發任務,再透過IDM內建的BPM工作流進行自動提交;
5)在BPM工作流內呼叫ESB的IDM分發整合流程實現向下遊系統的資料分發;
6)IDM分發整合流程的入參為IDM任務的taskId,透過taskId查詢IDM的任務資料,並根據業務要求進行資料處理;
7)處理後呼叫下游系統的賬號接收介面將資料寫入到下游系統中;
8)下游系統完後資料寫入後呼叫IDM的日誌回寫介面進行資料回寫操作。
2.涉及介面
1。源頭系統:資料推送、編碼接收;
2。MDM:資料接收、資料獲取(taskId)、日誌回寫;
3。IDM:資料接收、資料獲取(taskId)、日誌回寫;
4。ESB:源頭到MDM同步整合、MDM分發整合、IDM賬號分發整合;
5。下游系統:taskId接收、資料獲取(taskId)、日誌回寫。
3.標準規範
整合底座專案的標準規範主要是針對主資料管理、統一認證,以及主資料和賬號的整合規範,一般包括以下內容:
1。
主資料資料標準
:主要針對每一類主資料制定的資料標準,包括主資料的編碼體系、欄位清單、參考資料等;
2。
主資料管理標準
:主要針對客戶的管理組織,針對主資料的日常維護以及管理,建立相應的管理規範,保證主資料的日常管理維護;
3。
主資料整合標準
:主要針對每一類主資料制定同步、分發標準,包括源頭系統同步至MDM和MDM下發下游系統的相關服務介面,以及介面對接過程中入參、出參等資訊;
4。
統一認證標準
:業務系統和IDM進行統一認證整合的標準方案,IDM支援標準的CAS、OAuth認證方式,下游系統直接按照標準進行對接;
5。
賬號整合標準
:IDM賬號資訊下發下游系統的標準,包括對接的服務介面以及入參、出參資訊。
4.實施內容
整合底座整體實施內容主要包括
主資料治理、統一認證、統一服務
等內容,主資料治理透過MDM平臺進行主資料管理維護,統一認證主要基於IDM平臺進行各業務系統的統一認證,統一服務主要是基於ESB將各業務的服務介面註冊到ESB平臺,由ESB進行統一管理維護以及監控統計。
IDM身份認證平臺
IDM身份管理平臺是為
解決企業內部多系統之間的使用者資訊不一致問題
,IDM系統包含使用者資訊的統一認證,統一授權,統一管理,統一審計,進而規範使用者身份資訊,保證系統安全提高工作效率。
1.功能作用
需要基於整合底座實現統一認證,而
統一認證的基礎是統一賬號
:
1。賬號的源頭是在MDM主資料平臺,對於整合底座而言,屬於內部整合統一,所以統一認證主要涉及賬號的下游系統分發;
2。對於虛擬組織、虛擬賬號、測試賬號等不屬於主資料範疇的資料,由整合底座的認證模組統一進行虛擬組織、虛擬賬號、測試賬號的維護,並透過認證模組手動分發至下游系統。
2.整合場景
1。MDM主資料平臺從HR人力資源系統獲取人員資訊,並儲存在人員主資料的賬號分組中;
2。由MDM主資料平臺向IDM將人員的賬號資訊傳送至IDM平臺;
3。統一認證的實現主要透過IDM身份認證管理平臺,在IDM平臺中將MDM下發過來的賬號資訊下發至不同的業務系統從而實現各業務系統的統一使用者;
4。各業務系統根據IDM的統一認證標準進行產品調整,從而滿足IDM的認證要求,實現統一認證和單點登入。
IDM身份認證管理平臺接收到主資料下發的人員資訊後,統一進行賬號管理,並以實現HR、OA等系統的統一認證,並且IDM
從功能上來看,以完成統一認證為主
。
3.流程實現
1。賬號資訊主要分為兩部分:一是基於人員資訊的賬號,二是在IDM手動維護的賬號(如測試管理員賬號);
2。如果是IDM手動維護的賬號需要手動生成任務,如果是人員的賬號會自動生成任務,併產生任務標識TaskId;
3。IDM將TaskId推送至下游業務系統的任務接收介面;
4。下游系統接收TaskId後先呼叫IDM的介面獲取tokenId,再呼叫IDM的賬號提供介面獲取任務中的資料(JSON),將資料寫入下游業務系統中;
5。寫入完成後呼叫JSON的日誌介面進行日誌回寫。
MDM基礎資料平臺
基於MDM主資料管理,實現
各業務系統複用一套主資料
,各系統就像一個大系統的各個業務功能模組,企業IT架構可以實現柔性調整、升級、改造,從而支撐企業的業務戰略目標落地。
1.功能作用
主要
對組織、崗位、人員等主資料進行管理
,包括從源頭系統將主資料同步至整合底座進行管理,以及從整合底座分發至下游業務系統。基於人力主資料以及整合提供相應的同步分發介面,滿足主資料平臺和各業務系統有效的資料對接。
2.整合場景
以組織、崗位、人員等人力資源相關的主資料為例,資料來源頭為HR系統,HR透過呼叫ESB服務將組織、崗位、人員資料同步至MDM平臺的對應主資料中;MDM透過打包任務再分發至下游的業務系統,從而實現組織、崗位、人員主資料的統一。
3.流程實現
1。以HR系統為源頭,HR負責提供組織、崗位、人員的源頭資料;
2。HR系統在進行新增、修改、啟用、禁用等操作時進行提交,再呼叫MDM的同步介面將資料以JSON的方式進行推送;
3。MDM的同步流程接收HR系統的JSON資料後進行落地,同時自動生成資料分發的任務,併產生任務標識TaskId;
4。MDM將TaskId透過BPM工作流推送至下游業務系統的任務接收介面;
5。下游系統接收TaskId後先呼叫MDM的獲取tokenId介面獲取tokenId;再呼叫MDM的資料提供介面獲取任務中的資料(JSON),並將資料寫入下游業務系統中,寫入後呼叫MDM的日誌介面進行日誌回寫。
ESB企業服務匯流排
ESB企業服務匯流排主要作為企業資訊系統的“龍骨”來整合各業務系統,通常作為服務匯流排和資料匯流排,服務匯流排是指透過API管理進行API的註冊與維護,支援應用整合以及外部系統的呼叫;資料匯流排主要是支援資料抽取與匯聚,如DAP數倉的資料匯聚。
1.功能作用
在整合底座的解決方案中,ESB企業服務匯流排主要是
發揮服務匯流排的作用
,一方面支援源頭到MDM的主資料同步,以及MDM到下游系統、IDM到下游系統的分發;另一方面透過ESB的API管理將IDM、MDM、業務系統的介面註冊到平臺,以支援不同系統將的呼叫,如IDM、MDM的獲取tokenId介面,IDM、MDM的獲取資料介面(透過taskId)。
2.整合場景
ESB作為系統整合、資料整合、應用整合的技術支撐,底層透過服務介面方式直接和業務系統進行互動,
從業務系統中獲取原始的業務資料或經業務系統整合好的資料
。在整合層ESB和MDM主資料管理平臺、IDM統一身份認證平臺等進行互動,透過呼叫系統服務實現資料整合,協助完成主資料治理、統一身份認證等應用場景。
3.流程實現
ESB的流程主要是透過應用整合構建的IDM、MDM的同步分發整合流程,同時由於ESB、MDM需要實現和IDM的統一認證,所以需要透過ESB手動開發ESB、MDM的系統組織、人員表資料接收服務。
在整合底座方案中ESB的另一個重要作用就是
對於IDM、MDM以及業務系統的服務註冊與管理
,透過ESB的API管理實現對各系統API的配置與監控,並支援ESB的應用整合配置和後續其他系統對接的介面呼叫。
專案總結
整合底座是基於IDM、MDM、ESB等核心產品構建的解決方案,主要是
滿足企業資訊化建設中系統整合的需要,打通系統壁壘,實現異構系統的統一認證和單點登入
,透過基於MDM平臺進行基礎資料治理,實現各業務系統的基礎資料同源,從而為後續深度的業務整合和資料整合提供基礎支撐。
1.注意事項
在最近的實際專案中,對於整合底座專案實施落地的過程中,比較容易存在一些問題和風險。
1。編碼一致性:透過MDM進行主資料整合時,主要包括同步和分發兩個過程,
最佳實踐是透過MDM平臺進行編碼統一
,即源頭系統同步至MDM時,由MDM生成編碼並回寫源頭系統,同時也要傳送下游系統,從而保證上游、MDM、下游系統的編碼一致性;
2。主資料分發:在實施整合底座專案時,主資料的分發建議採用
推拉結合
的方式,即透過MDM推送TaskId到下游系統的接收介面中,再由接收介面呼叫MDM平臺介面獲取任務資料;
3。賬號管理:在整合底座方案中,
賬號是透過IDM平臺進行維護的
,即由源頭系統同步至MDM的人員中,再由MDM分發到IDM,IDM向下遊分發賬號。
2.方案最佳化
為了提升整合底座的專案實施的便捷性以及實現快速交付,目前IDM、MDM、ESB正在進行升級,
將三個平臺整合的內容直接預置在產品或者ESB的預置資料中
,後續再進行整合底座的專案交付時,可以直接透過資料初始化完成整合場景的部署,只需要快速調整對應的變數就是搭建一套整合底座平臺。這種方式不僅可以提升專案交付的效率,同時也可以把更多的專案工作轉移到業務、標準等方面,提高專案的實施效果,積累更多的專案經驗。
3.個人總結
最近由於工作的調整,開始逐漸接手整合底座的相關方案,由於之前對於IDM產品的使用、整合底座的整合模式還不是太熟悉,所以還存在一些問題,但隨著在實際專案進行應用,以及基於整合底座和實際業務開發整合流程,對IDM、MDM的整合以及相關介面的使用已經有了更全面的瞭解。
一個專案的成功是方案、產品、實施、體系等眾多方面的集合的結果,在專案中不僅僅要關注具體的工作,
更要藉助專案瞭解實際業務、積累專案經驗
,才能不斷提升專案能力。但對於專案經理而言,在瞭解業務的同時,也要
整體把控專案,關注專案進度、專案風險、里程碑節點
等,同時也要注意
關注商務部分
,以保證專案實施範圍、進度、收款等內容,以達到透過專案推送公司業務發展的需要。
本文由@數通暢聯原創,歡迎轉發,僅供學習交流使用,引用請註明出處!謝謝~