CN43-1258/TP計算機工程與科學(xué)2006年第28卷第2期ISsN1007-130XComPuter enGInEERING ScieNCEVol.28,No.2,2006文章編號:1007-130X(2006)02-0010103Infor broker在國稅應(yīng)用整合中的應(yīng)用Application of InforBroker in State AdministrationTaxation Application Integration王東1,李若梅2,譚慶平2,陳大峰2WANG Dong, LI Ruo-mei, TAN Qing-ping, CHEN Da-feng(1.東南融通公司,福建廈門361005;2.國防科技大學(xué)計箅機學(xué)院,湖南長沙410073)(1. Longtop Group, Xiamen 361005; 2. School of Computer ScienceNational University of Defense Technology, Changsha 410073, China)摘要:本文分析了發(fā)布/訂閱消息中間件 InforBroker的核心機制,并在此基礎(chǔ)上針對國稅應(yīng)用整合項目的特點,設(shè)計了—個基于 Inforbroker的核心數(shù)據(jù)交換平臺,并對其進行了詳細闡述。該平臺支持動態(tài)的數(shù)據(jù)集成,并使系統(tǒng)具有松耦合性和易擴展性,較好地滿足了系統(tǒng)的需求。Abstract: This paper analyzes the core mechanism of the publish/ subscribe-based message-oriented middleware(MOM)product Infor Broker, and discusses the design of the Data Exchange Platform of the state administration taxation applicationntegration project, which is built upon InforBroker to support dynamic data integration and improve flexibility and scalability to meet the specific requirements of the project關(guān)鍵詞:發(fā)布/訂閱;消息中間件;應(yīng)用整合Key words: publish /subscribe; message-oriented middleware; application integration中圖分類號:TP311;F812.4文獻標識碼原有系統(tǒng)的影響和配置管理的復(fù)雜性。1引言(2)存在數(shù)據(jù)復(fù)制需求。省數(shù)據(jù)中心抽取全部21個業(yè)務(wù)系統(tǒng)數(shù)據(jù),而市數(shù)據(jù)中心只從其中的11個業(yè)務(wù)系統(tǒng)抽取數(shù)據(jù)目前,計算機軟件已經(jīng)在國稅系統(tǒng)中得到了廣泛的應(yīng)這就要求將兩級數(shù)據(jù)中心重復(fù)抽取的數(shù)據(jù)做數(shù)據(jù)復(fù)制處理用,全省(山東省)十多個市局都已分別應(yīng)用數(shù)十個業(yè)務(wù)系并在兩者不同時在線的情況下,保證數(shù)據(jù)更新的一致性統(tǒng),實現(xiàn)了對眢自下轄縣級局和分局中大量涉稅數(shù)據(jù)的集(3)苛刻的數(shù)據(jù)傳輸要求。省國稅項目需整合的數(shù)據(jù)分中管理?，F(xiàn)在,為解決業(yè)務(wù)系統(tǒng)間的數(shù)據(jù)共享問題,省局希布在十多個地市中,每個地市都包括金稅工程等數(shù)十個業(yè)務(wù)望通過國稅應(yīng)用整合項目,在原有的各業(yè)務(wù)系統(tǒng)之上進系統(tǒng),項目要求對這些分布的、異構(gòu)的大規(guī)模數(shù)據(jù)進行批量、實步建立全省統(tǒng)一的數(shù)據(jù)處理分析和應(yīng)用平臺,利用數(shù)據(jù)倉時和異步的數(shù)據(jù)傳輸,并保證數(shù)據(jù)傳輸?shù)男阅芎涂煽啃詭旒夹g(shù)實現(xiàn)對全省各類涉稅數(shù)據(jù)的加工、統(tǒng)計和分析,以便針對項目的特點,傳統(tǒng)的數(shù)據(jù)ETL技術(shù)在實現(xiàn)上都存對全省的稅務(wù)情況進行宏觀決策和分析在開發(fā)工作量大、實施復(fù)雜、難以擴充、廣域網(wǎng)中的傳輸能與常見的應(yīng)用整合頊目相比,該國稅應(yīng)用整合項目存力較差等問題。本文將中創(chuàng)軟件公司自主研發(fā)的、基于發(fā)在以下幾個技術(shù)難點布/訂閱的消息中間件 Inforbroker應(yīng)用到省國稅應(yīng)用整合(1)必須具有良好的可擴充性。項目分為三期,由省到的數(shù)據(jù)交換平臺中,利用其靈活、高效的消息傳遞,實現(xiàn)了地市逐級實現(xiàn),應(yīng)盡可能容納原有應(yīng)用系統(tǒng),方便新應(yīng)用系各業(yè)務(wù)系統(tǒng)—市局—省局的三層數(shù)據(jù)集成和共享,同時保統(tǒng)加入,系統(tǒng)升級時可以最大程度地重用原有系統(tǒng),減小對證系統(tǒng)具有良好的可擴充性,滿足了系統(tǒng)的需求中國煤化工收稿日期:2004-09-24;修訂日期:2004-10-25CNMHG金項目:國家863計劃資作者簡介男,湖北松研究方向為分布計算和企業(yè)應(yīng)用集成;李若梅,碩士生,研究方向為分布計算和企業(yè)通訊地址:361005福建省廈門市軟廈A棟東南融通公司研發(fā)部;Tel:(0592)5171518(H),13799780587; E-mail:wang_Address:R&D Section Longtop Group, Part A, Chuangxin Building, Software Park, Xiamen, Fujian 361005, P RChina可以有多個消息發(fā)布者和訂閱者,客戶端的消息通過上2 InforBroker概述層的IB進行傳遞。為了解決單點失效問題,采用了基于主/從( Master/ Slave)模式的路由算法2.1發(fā)布/訂閱消息中間件的原理Domain A近年來,基于發(fā)布/訂閱(PS)的消息中間件(MOM)因其支持在廣域網(wǎng)環(huán)境下松耦合系統(tǒng)間動態(tài)、異步的數(shù)據(jù)傳遞且具有良好的可擴展性而成為研究的熱點。P/S消息中間件的原理如圖1所示。PushSubscribeIB2失效后Client aClientClient 3 Client 4 iClient Bsubscribe Client D圖1發(fā)布/訂閱通信模型圖2IB拓撲結(jié)構(gòu)及路由示意圖消息發(fā)布者和訂閱者分別同MOM進行通信:消息發(fā)這種路由算法把所有的IB分為主代理和從代理兩類布者將包含主題的消息發(fā)布( Publish)到MOM;消息訂閱在一個邏輯消息域( Domain)中可以有多個主代理和從代者向MOM訂閱( Subscribe)自己感興趣的主題。MOM對理。以圖2為例,在IB2和IB3所組成的域( Domain b)中雙方的主題進行匹配后,不斷將訂閱者感興趣的消息推設(shè)IB2為主代理,1B3為從代理。當(dāng)IB3接到 Client:3發(fā)布(Push)給訂閱者,直到訂閱者向MOM發(fā)出取消訂閱(Un-的消息時,它只需發(fā)給主代理IB2,由主代理負責(zé)把這一消subscribe)的消息。由此看出,通過MOM實現(xiàn)了發(fā)布者和息傳遞給它下層的所有IB,每個IB再向下發(fā)到所有與之訂閱者在三個方面的解耦21相連的邗B。當(dāng)有 Client訂閱該消息,則將該消息發(fā)布給(1)時間解耦:發(fā)布方和訂閱方無需同時在線就能夠進它。圖2表明,IB2既是 Domain a的從代理,也是 Domain行消息傳輸,消息中間件通過存儲轉(zhuǎn)發(fā)提供了這種異步傳B的主代理。當(dāng)IB2失效時,B3可以被提升為IB2的身份輸?shù)哪芰?如虛線所示),成為 Domain b的主代理,從而解決了層次(2)空間解耦:發(fā)布方和訂閱方都無需知道對方的物理式拓撲的單點失效問題地址、端口,甚至無需知道對方的邏輯名字和個數(shù)(4) InforBroker具有可靠性、優(yōu)先級、時間約束和內(nèi)存3)流程解耦:發(fā)布方和訂閱方在發(fā)送和接收數(shù)據(jù)時并管理等豐富的QoS特性,為各種不同的應(yīng)用需求提供了不阻塞各自的控制流程較為完善的支持;通過認證和授權(quán)等安全機制,保障了分基于發(fā)布/訂閱模型的消息中間件,我們稱為發(fā)布/訂布式環(huán)境下消息傳遞的安全。此外, Infor Broker也支持閱消息中間件,它滿足了當(dāng)前分布式環(huán)境下的消息交換要Push和Pull兩種消息交付模式求, InforBroker就是其中的一種2.2 Inforbroker的核心機制3數(shù)據(jù)交換平臺的設(shè)計及實現(xiàn)InforBroker是中創(chuàng)軟件公司開發(fā)研制的一種基于發(fā)布/訂閱的、面向分布式應(yīng)用的消息中間件,它為因特網(wǎng)和3.1數(shù)據(jù)交換平臺的總體結(jié)構(gòu)大規(guī)模內(nèi)聯(lián)網(wǎng)環(huán)境下分布式應(yīng)用的快速開發(fā)、部署、運行提省國稅應(yīng)用整合通過在各地市局中心部署的市中心數(shù)供了靈活和易用的支撐平臺據(jù)交換平臺來實現(xiàn)市、省數(shù)據(jù)中心(數(shù)據(jù)倉庫)及各地市數(shù)InforBroker包括以下核心的發(fā)布/訂閱機制據(jù)交換平臺的連接,進而實現(xiàn)全省涉稅數(shù)據(jù)的有效交換和(1)基于ⅹML的數(shù)據(jù)模型。數(shù)據(jù)模型決定了消息發(fā)共享,如圖3所示。布的語法采用XML這一半結(jié)構(gòu)化的數(shù)據(jù)表示方法可以省cTAS應(yīng)用系統(tǒng)省數(shù)據(jù)交換平白很容易地將XML的文檔描述與關(guān)系數(shù)據(jù)庫中的屬性對應(yīng)起來,實施精確的查詢與抽取(2)基于主題或 XPath的消息訂閱。消息訂閱者可以匝數(shù)據(jù)交平)(據(jù)交平通過消息的主題向 InforBroker訂閱感興趣的消息;另外對應(yīng) InforBroker的XML格式的數(shù)據(jù)模型,消息訂閱者可CTAIS應(yīng)用系統(tǒng)市金稅應(yīng)用系統(tǒng)以通過 XPath向 Inforbroker進行準確或模糊的訂閱?；?數(shù)據(jù)交換平臺層次圖于主題的訂閱方式簡單有效,在廣域網(wǎng)環(huán)境下進行批量的交換平臺豐勇申話配器層、消息總線等兩層構(gòu)成消息發(fā)布和訂閱時,能減少開銷,提高性能。而基于 XPath這兩中國煤化工的消息訂閱提供了更好的表達能力,但性能也隨之下降。CNMH源適配器和目的適配器所以,這兩種方式相互補充為消息訂閱者在不同條件下的由可視化建模工具來建立。源適配器根據(jù)數(shù)據(jù)源中有價值訂閱提供了多種選擇的數(shù)據(jù)和數(shù)據(jù)關(guān)聯(lián)進行數(shù)據(jù)抽取主題的定義,以及對數(shù)據(jù)(3)層次式的拓撲結(jié)構(gòu)。圖2就是一個簡單的層次抽取的策略對數(shù)據(jù)格式、內(nèi)容的轉(zhuǎn)換;目的適配器則根據(jù)式拓撲例子,從中可以看出,每一個 InforBroker(簡稱IB)102省或市級數(shù)據(jù)中心的數(shù)據(jù)倉庫的要求,將訂閱得到的數(shù)據(jù)利用 Infor broker的發(fā)布/訂閱機制解決動態(tài)、異步、松耦合存入數(shù)據(jù)倉庫中及易擴展等關(guān)鍵性問題2)消息總線。消息總線利用 InforBroker的發(fā)布/訂(1)提供了良好的可擴展性。利用發(fā)布/訂閱機制的松閱機制,以異步、松耦合方式實現(xiàn)眢業(yè)務(wù)系統(tǒng)之間,及業(yè)務(wù)耦合性,當(dāng)岀現(xiàn)新的需求時,可以直接重用已有的數(shù)據(jù)交換系統(tǒng)與省、市數(shù)據(jù)中心之間的數(shù)據(jù)交換平臺來快速實現(xiàn)利用 Infor Broker所組成的消息代理集群將各業(yè)務(wù)系例如,當(dāng)需要增加新的業(yè)務(wù)系統(tǒng)、業(yè)務(wù)部門或數(shù)據(jù)源統(tǒng)和省市兩級的數(shù)據(jù)中心平臺異步、動態(tài)地連接在一起,其時,只需將所需的數(shù)據(jù)映射為新的主題,并讓適配器發(fā)布和松耦合的特性滿足了各業(yè)務(wù)系統(tǒng)的自治性和擴展性訂閱這些主題即可。由于發(fā)布者和訂閱者無需知道對方的3.2數(shù)據(jù)交換平臺的工作原理任何信息,因此在 InforBroker建立新的主題后,就自動形圖4給出了利用數(shù)據(jù)交換平臺進行數(shù)據(jù)交換和共享的過成了這些適配器之間的數(shù)據(jù)傳輸通道,從而避免了消息隊程,其中包含業(yè)務(wù)系統(tǒng)數(shù)據(jù)交換平臺、市和省級數(shù)據(jù)中心等實列模式中所需的復(fù)雜的隊列創(chuàng)建配置和管理等問題同時,這種異步、動態(tài)的連接使得在局部系統(tǒng)出錯時可以更方便地進行隔離和恢復(fù),保證了整個系統(tǒng)的強壯性和可靠性。市數(shù)據(jù)中心省數(shù)據(jù)中心(2)方便地解決了市數(shù)據(jù)中心到省數(shù)據(jù)中心的數(shù)據(jù)復(fù)制問題。發(fā)布/訂閱模式的另一個好處是可以直接用來實目的適配器目的適配器現(xiàn)數(shù)據(jù)復(fù)制。和消息隊列不同,同一個主題的訂閱者和發(fā)數(shù)據(jù)交換平臺;布者是一種多對多的關(guān)系。因此,只要將需要復(fù)制的數(shù)據(jù)映射為特定的主題,然后讓省數(shù)據(jù)中心平臺和市數(shù)據(jù)中心TB集群同時訂閱這個主題,就能夠?qū)崿F(xiàn)數(shù)據(jù)復(fù)制的功能了。這極大地減輕了集成開發(fā)所需的工作量和數(shù)據(jù)交換平臺的工作負載,同時減少了對業(yè)務(wù)系統(tǒng)的影響。(3)保證了大規(guī)模分布式環(huán)境下的數(shù)據(jù)傳輸。利用集群市局21個業(yè)務(wù)系統(tǒng)省業(yè)務(wù)系統(tǒng)和消息域?qū)崿F(xiàn)了數(shù)據(jù)的分級、分類傳輸,均衡了數(shù)據(jù)交換平臺適配器源適配器的傳輸負載,提高了數(shù)據(jù)傳輸?shù)男阅芎涂煽啃?。一個特定消息發(fā)布域允許有多個主代理,以此來均衡該消息域內(nèi)消息的傳輸負市21個業(yè)務(wù)系統(tǒng)…市21個業(yè)務(wù)系統(tǒng)省業(yè)務(wù)系統(tǒng)載。由于某個代理既可以是某個消息域的主代理,也可以是其它消息域的從代理,因此消息域在邏輯的分離和交互中提高圖4稅務(wù)網(wǎng)數(shù)據(jù)傳輸過程下面通過一次數(shù)據(jù)傳輸過程來詳細說明數(shù)據(jù)交換平臺了消息共享的性能。當(dāng)某代理失效后根據(jù)路由算法實現(xiàn)代理的工作原理網(wǎng)絡(luò)的動態(tài)重排,大大提高了數(shù)據(jù)傳輸?shù)目煽啃?)數(shù)據(jù)由源適配器抽取、轉(zhuǎn)換并發(fā)布。為了從市局和省業(yè)務(wù)系統(tǒng)中抽取有價值的業(yè)務(wù)數(shù)據(jù),必須為每個業(yè)務(wù)系統(tǒng)構(gòu)廈4結(jié)束語適配器,根據(jù)業(yè)務(wù)量的情況,從整體上規(guī)劃業(yè)務(wù)數(shù)據(jù)發(fā)布的分級主題,確定適配器部罟的實例數(shù)量;源適配器會將業(yè)務(wù)系統(tǒng)中有價值的業(yè)務(wù)數(shù)據(jù)打包為XML消息,通過數(shù)據(jù)轉(zhuǎn)換構(gòu)件可以將業(yè)務(wù)系統(tǒng)企業(yè)應(yīng)用和數(shù)據(jù)整合是當(dāng)今企業(yè)的一項重要工作,本文的數(shù)據(jù)從格式和內(nèi)容上做出轉(zhuǎn)換,以符合數(shù)據(jù)中心的要求,最后發(fā)分析了基于發(fā)布/訂閱的消息中間件 Inforbroker的核心機布給發(fā)布方本地數(shù)據(jù)交換平臺中的 Inforbroke制,并把它應(yīng)用在省國稅應(yīng)用整合項目中的數(shù)據(jù)交換平臺源適配器傳來的數(shù)據(jù)然后放到消息隊列依據(jù)消息的Q③s厲性進中,滿足了分布、異步、動態(tài)、易擴展及松耦合的數(shù)據(jù)整合要行消息的排隊和存儲:按照訂閱者訂閱的主題的情況和QS進行求。對同類環(huán)境中業(yè)務(wù)數(shù)據(jù)傳輸?shù)慕鉀Q有一定的參考價值。心平臺的 InforBroker參考文獻訂閱方 InforBroker接收到來自IB集群的大量數(shù)據(jù),將其存儲到Inforbroker的數(shù)據(jù)庫中,并發(fā)布給目的適配器[1 K Geibs. Middleware Challenges Ahead[J]. IEEE Comput(4)目的適配器過濾、轉(zhuǎn)換后存儲數(shù)據(jù)。目的適配器按照數(shù)據(jù)中r,2001,34(6):24-31心的需求構(gòu)造,可向本地 Inforbroker訂閱相應(yīng)的主題業(yè)務(wù)數(shù)據(jù)并根2] P T Eugster, P Felber, R Guerraoui,etal. The many faces據(jù)性能的情況調(diào)整目的適配器部署的實例數(shù)量。目的適配器接到訂閱的消息進行過濾、轉(zhuǎn)換和整合后,將數(shù)據(jù)存儲到目的數(shù)據(jù)庫中of Publish/Subscribe[J. ACM Computing Surveys, 2003, 35通過以上步驟完成了數(shù)據(jù)從發(fā)布方業(yè)務(wù)系統(tǒng)到訂閱方(2):114-131自各業(yè)務(wù)系統(tǒng)的數(shù)據(jù)以及關(guān)聯(lián)數(shù)據(jù)建立符合信息分析要/八個), th Plale. Survey of Publish Subscribe Event Sy數(shù)據(jù)中心的信息集成和傳輸任務(wù)。數(shù)據(jù)最后在以數(shù)據(jù)倉庫echnical Report TR 574, Department of Computer為主的市、省級數(shù)據(jù)中心匯總,數(shù)據(jù)倉庫以主題形式存儲來Indiana University, 200中國煤化工模式和系統(tǒng)結(jié)構(gòu):[碩士學(xué)位求的數(shù)據(jù)模型,建立自動數(shù)據(jù)處理機制,為決策分析提供完整、統(tǒng)一、準確的數(shù)據(jù)來源CNMHGurity Issues an3.3 InforBroker在數(shù)據(jù)交換平臺中的關(guān)鍵作用quirements for Internet-Scale Publish-Subscribe Systems可以看出, InforBroker在稅務(wù)網(wǎng)的數(shù)據(jù)傳輸和共享上LAJ. Proc of the 30th Hawaii Int'I Conf on System Sciences發(fā)揮了重要的作用。下面具體闡述在國稅應(yīng)用整合中如何(HCSs35)[C1.200203