男人天堂日韩,中文字幕18页,天天伊人网,成人性生交大片免费视频

基于網(wǎng)格的數(shù)據(jù)傳輸與復(fù)制技術(shù)研究論文

時間:2021-04-16 18:34:39 論文 我要投稿

基于網(wǎng)格的數(shù)據(jù)傳輸與復(fù)制技術(shù)研究論文

  所謂數(shù)據(jù)復(fù)制,就是將數(shù)據(jù)庫中的數(shù)據(jù)資源復(fù)制到一個或多個不同的物理站點上。數(shù)據(jù)復(fù)制技術(shù)可以有效地保證目標數(shù)據(jù)庫與源數(shù)據(jù)庫的中數(shù)據(jù)的一致性。 目前,很多領(lǐng)域都會用到數(shù)據(jù)通信復(fù)制技術(shù),如分布對象系統(tǒng)、移動計算和分布式數(shù)據(jù)庫系統(tǒng)等。

基于網(wǎng)格的數(shù)據(jù)傳輸與復(fù)制技術(shù)研究論文

  1 數(shù)據(jù)復(fù)制的概念

  所謂數(shù)據(jù)復(fù)制,就是將數(shù)據(jù)庫中的數(shù)據(jù)資源復(fù)制到一個或多個不同的物理站點上。數(shù)據(jù)復(fù)制技術(shù)可以有效地保證目標數(shù)據(jù)庫與源數(shù)據(jù)庫的中數(shù)據(jù)的一致性。

  1.1 訪問地有效性

  我們在進行數(shù)據(jù)處理里,有時候受到網(wǎng)絡(luò)的限制無法使用廣域網(wǎng)WAN,為了可以繼續(xù)訪問本地數(shù)據(jù),我們可以采用數(shù)據(jù)復(fù)制技術(shù)。在復(fù)制時,用戶可以直接在本地訊問數(shù)據(jù),非常方便,而不用通過數(shù)據(jù)庫之間的網(wǎng)絡(luò)連接來獲取用戶需要的數(shù)據(jù)資源。

  1.2 縮短響應(yīng)時間

  數(shù)據(jù)復(fù)制可以縮短數(shù)據(jù)請求的響應(yīng)時間,其原因如下:

  1)由于數(shù)據(jù)復(fù)制的請求是在本地服務(wù)器上進行的,不需要訪問網(wǎng)絡(luò),所以檢索速度更快。

  2)在本地服務(wù)器上處理數(shù)據(jù)減輕了中心數(shù)據(jù)庫服務(wù)器的負擔,同時也緩解了對處理器時間的爭用。

  1.3 事務(wù)的完整性

  確保每個數(shù)據(jù)庫始終保持事務(wù)完整性是任何復(fù)制系統(tǒng)都面臨的挑戰(zhàn)。Replication Server 和 SQL Remote 按以下方式復(fù)制事務(wù)日志的各個部分,因此在復(fù)制期間可保持事務(wù)的完整性。

  MobiLink合并多個已提交的事務(wù)中所做的更改。這些更改以單個事務(wù)的方式應(yīng)用到另一數(shù)據(jù)庫中。

  1.4 數(shù)據(jù)的準確性

  我們在數(shù)據(jù)復(fù)制時,要使整個系統(tǒng)中的數(shù)據(jù)保持一致,提高數(shù)據(jù)的準確性。復(fù)制系統(tǒng)在整個體系中將工作時所做的改變以準確無誤的方式復(fù)制到其他站點上,但是不同的站點在同一時間擁有不同的數(shù)據(jù)副本。

  2 數(shù)據(jù)復(fù)制的分類

  在數(shù)據(jù)復(fù)制技術(shù)中,復(fù)制配置和復(fù)制類型是兩個重要方面,是區(qū)別不同復(fù)制技術(shù)的主要指標。配置,指的是有多少個源服務(wù)器被復(fù)制到多少個目標服務(wù)器,包括一對一復(fù)制、一對多復(fù)制、多對一復(fù)制、多對多復(fù)制。復(fù)制類型,指的是程序如何在兩個系統(tǒng)之間進行數(shù)據(jù)同步,一個復(fù)制解決方案可能根據(jù)計劃好的時間間隔來使數(shù)據(jù)保持同步,也可以用同步復(fù)制或異步復(fù)制的方式連續(xù)進行數(shù)據(jù)復(fù)制。數(shù)據(jù)復(fù)制類型主要有以下幾種:

  1)同步復(fù)制

  在一個同步復(fù)制環(huán)境中,為了確保目標系統(tǒng)上最高程度的數(shù)據(jù)整體性,數(shù)據(jù)必須在主系統(tǒng)完成寫入之前被寫入到目標系統(tǒng)中。一方面,同步復(fù)制使得無論何時,目標系統(tǒng)上的數(shù)據(jù)都與源系統(tǒng)數(shù)據(jù)完全相同;另一方面,同步復(fù)制也可能導(dǎo)致源系統(tǒng)的性能延遲,尤其是在兩個系統(tǒng)間的網(wǎng)絡(luò)連接速度比較慢的情況下,延遲問題更為嚴重。

  2)異步復(fù)制

  在異步復(fù)制時,復(fù)制軟件會對數(shù)據(jù)進行排隊,然后在網(wǎng)絡(luò)可用期間在系統(tǒng)之間批處理地傳遞改變的數(shù)據(jù),源系統(tǒng)在執(zhí)行前不會等候目標系統(tǒng)的確認。為了保持數(shù)據(jù)的完整性,有些解決方案將同步和異步復(fù)制操作組合在一起:當發(fā)生通訊問題時,同步復(fù)制會轉(zhuǎn)為異步復(fù)制;當通訊問題解決后,又會轉(zhuǎn)回同步方式。

  3)計劃復(fù)制

  對有些用途而言,連續(xù)的復(fù)制不是理想的方案,采用計劃復(fù)制更為適宜。在這種復(fù)制方式中,變化的數(shù)據(jù)將按預(yù)先設(shè)定的時間間隔被同步復(fù)制。

  數(shù)據(jù)復(fù)制技術(shù)的應(yīng)用范圍非常廣,不同的范圍內(nèi),復(fù)制的目標數(shù)據(jù)、數(shù)據(jù)復(fù)制粒度及重要技術(shù)都有很大差別。如分布數(shù)據(jù)庫、分布對象和移動計算等,這些應(yīng)用領(lǐng)域和分布式儲存關(guān)系非常密切。分布數(shù)據(jù)庫系統(tǒng)的關(guān)鍵技術(shù)是非常有效的數(shù)據(jù)復(fù)制技術(shù),它可以幫助我們有效地提高數(shù)據(jù)庫系統(tǒng)的性能,如增強系統(tǒng)容錯能力、改善數(shù)據(jù)訪問性能和實現(xiàn)數(shù)據(jù)系統(tǒng)的負載平衡等。

  由于移動環(huán)境下網(wǎng)絡(luò)帶寬低、速度慢。如果采用數(shù)據(jù)復(fù)制技術(shù),可以根據(jù)當前用戶的訪問需求和分布情況,進行動態(tài)數(shù)據(jù)復(fù)制。這樣做的好處是:可以使移動用戶就近訪問并復(fù)制所需的數(shù)據(jù),大大提高訪問的性能。

  3 數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)復(fù)制技術(shù)

  為了改善數(shù)據(jù)網(wǎng)格系統(tǒng)性能,我們在網(wǎng)絡(luò)系統(tǒng)中大范圍地使用了數(shù)據(jù)復(fù)制技術(shù)。與傳統(tǒng)分布式系統(tǒng)應(yīng)用領(lǐng)域中的復(fù)制相比,數(shù)據(jù)網(wǎng)格中的復(fù)制技術(shù)在復(fù)制目標、復(fù)制粒度、復(fù)制關(guān)鍵技術(shù)等方面表現(xiàn)出獨特性質(zhì)。數(shù)據(jù)網(wǎng)格系統(tǒng)中,采用數(shù)據(jù)復(fù)制技術(shù)的目的是為了節(jié)省網(wǎng)絡(luò)帶寬、減少系統(tǒng)的訪問時間等。在使用數(shù)據(jù)復(fù)制技術(shù)時通過數(shù)據(jù)在網(wǎng)格中的流動,實現(xiàn)數(shù)據(jù)網(wǎng)格系統(tǒng)的性能優(yōu)化,也就是根據(jù)用戶的訪問需求和數(shù)據(jù)網(wǎng)格系統(tǒng)的數(shù)據(jù)特征自動將數(shù)據(jù)流復(fù)制到不同的網(wǎng)格節(jié)點或服務(wù)器上。

  3.1 在網(wǎng)格中數(shù)據(jù)復(fù)制的特點

  數(shù)據(jù)復(fù)制技術(shù)可以多個服務(wù)器上建立數(shù)據(jù)備份,如果我們在操作過程中發(fā)現(xiàn)某個服務(wù)器中的數(shù)據(jù)出錯,就可以使用其他服務(wù)器進行操作,這樣可以提高數(shù)據(jù)的準確性和數(shù)據(jù)的可用性。數(shù)據(jù)復(fù)制技術(shù)為了提高使用效率,降低傳輸負載,一般都會將遠程服務(wù)器中的數(shù)據(jù)復(fù)制到本地服務(wù)器,讓用戶就近訪問并復(fù)制所需的數(shù)據(jù),大大提高訪問的性能。但是,網(wǎng)格中的數(shù)據(jù)復(fù)制技術(shù)與分布對象等、分布數(shù)據(jù)庫中的復(fù)制技術(shù)相比,還有一些問題要注意改進。

  1)在數(shù)據(jù)系統(tǒng)中,用戶可以把數(shù)據(jù)存儲為一般文件、XML文件及各類數(shù)據(jù)庫文件等;

  2)而在數(shù)據(jù)網(wǎng)格系統(tǒng)中,需要充分考慮網(wǎng)絡(luò)開銷,這和數(shù)據(jù)庫、分布對象系統(tǒng)選擇副本時是不同的,只在減少網(wǎng)絡(luò)開銷,才能提高使用數(shù)據(jù)的速度;

  3)在數(shù)據(jù)網(wǎng)格系統(tǒng)中,由于網(wǎng)格環(huán)境是呈動態(tài)性的,而且數(shù)據(jù)副本的數(shù)量可達幾百甚至更多,存在巨大的數(shù)據(jù)量,為了對副本進行有效管理;我們必須采用合理的動態(tài)副本創(chuàng)建策略才能滿足要求;

  4)一方面,數(shù)據(jù)網(wǎng)格系統(tǒng)中的數(shù)據(jù)量巨大,且操作頻率很高,整個文件的內(nèi)容會被一個操作改寫。這和傳統(tǒng)的數(shù)據(jù)庫中副本同步時幾個小事務(wù)的操作有著很大的不同;而另一方面,數(shù)據(jù)網(wǎng)格中的數(shù)據(jù)廣泛分布和復(fù)制在WAN上,更加靈活,一般的保持副本一致性算法并不適用于此。

  3.2 在數(shù)據(jù)網(wǎng)格中對復(fù)制系統(tǒng)的相關(guān)需求

  根據(jù)網(wǎng)絡(luò)系統(tǒng)特點和對數(shù)據(jù)復(fù)制技術(shù)的分析,我們在使用數(shù)據(jù)網(wǎng)格下的數(shù)據(jù)復(fù)制系統(tǒng)需要注意以下幾點需求:

  1)動態(tài)性:在創(chuàng)建副本時,復(fù)制系統(tǒng)可以按需動態(tài)創(chuàng)建副本和刪除副本;

  2)適應(yīng)性:復(fù)制系統(tǒng)需要考慮各種網(wǎng)絡(luò)問題,如本地網(wǎng)速、用戶網(wǎng)速以及訪問失敗等多種情況;

  3)安全性:在創(chuàng)建副本時,應(yīng)保證用戶數(shù)據(jù)訪問的安全,不讓有圖謀的他人進入;

  4)有效性:復(fù)制系統(tǒng)創(chuàng)建副本時必須考慮資源和時間的開銷,用自己能利用的資源設(shè)計出最佳方案;

  5)靈活性:復(fù)制系統(tǒng)能夠根據(jù)操作需要,靈活創(chuàng)建、刪除和管理副本。

  3.3 數(shù)據(jù)網(wǎng)格復(fù)制

  Globus中數(shù)據(jù)管理的另一個基本服務(wù)是復(fù)制(replica management),Globus中數(shù)據(jù)的復(fù)制管理主要是針對遠程的大型數(shù)據(jù)庫文件進行訪問。replica的原意是指復(fù)制品,即在文件復(fù)制時要與其本身保持一致性。為了滿足這個要求,在復(fù)制管理體系結(jié)構(gòu)中,必須要有一個支持WAN的分布式數(shù)據(jù)庫。這樣就可以在對文件復(fù)制時進行修改。同時,在原子操作時對文件進行加密。

  在Globus項目中沒有采用復(fù)雜的`分布數(shù)據(jù)庫。Globus中的復(fù)制管理服務(wù)實際上沒有按照“replica”的一般語義進行實現(xiàn),而是對“replica”語義放寬了限制,對于文件的多個復(fù)制操作,Globus的復(fù)制服務(wù)不會主動執(zhí)行任何操作來檢查確保文件的一致性。而當用戶在復(fù)制一個注冊的邏輯集合文件時,則需要由操作來保持數(shù)據(jù)文件之間的一致性。

  在分布式計算的環(huán)境中,有時會遇到計算失敗,或網(wǎng)絡(luò)問題,這就給我們的復(fù)制管理服務(wù)提出了更高的要求,可以快速從錯誤中回復(fù),并保持數(shù)據(jù)的一致性。在Globus的復(fù)制管理服務(wù)功能中只能夠保證注冊文件的一致性,但不能保證存儲在復(fù)制管理服務(wù)中信息的一致性。

  Globus復(fù)制目錄服務(wù)可以使科學(xué)應(yīng)用程序快速地進行數(shù)據(jù)訪問,它是Globus復(fù)制管理的核。其工作原理是智能地把部分相關(guān)數(shù)據(jù)放置在離科學(xué)應(yīng)用程序最近的位置。復(fù)制管理服務(wù)的功能主要包括:注冊新的拷貝到復(fù)制目錄中以、創(chuàng)建全部或部分文件集合的新拷貝、允許用戶查詢復(fù)制目錄來找到部分或全部文件集合的拷貝。

  4 基于網(wǎng)格環(huán)境中的數(shù)據(jù)復(fù)制具體實現(xiàn)

  在網(wǎng)格環(huán)境中,我們在數(shù)據(jù)復(fù)制前要對具體問題進行具體分析,做好規(guī)劃與設(shè)計。這就需要我們在設(shè)計時必須確定出需要復(fù)制的數(shù)據(jù)對象、數(shù)據(jù)庫站點及類型、沖突解決方案、同步方式等內(nèi)容。從而設(shè)計出一套詳實并能滿足實際業(yè)務(wù)需求的合理方案。在進行詳細的規(guī)劃與設(shè)計后,我們就可以按計劃實現(xiàn)數(shù)據(jù)復(fù)制,具體操作如下:

  1)創(chuàng)建數(shù)據(jù)復(fù)制站點;

  2)創(chuàng)建組對象;

  3)配置合理、詳實的解決沖突方案。

  下面,我們舉例說明相關(guān)操作。我們會設(shè)置主控站點和共享數(shù)據(jù)表各兩個,采用多主控站點復(fù)制方式。

  主控站點分別為處理站點(handle.world)和解釋站點(explain.world);數(shù)據(jù)表分別為測區(qū)(region)和測線(line)。

  1)用系統(tǒng)身份進行登錄并訪問主站點數(shù)據(jù)庫。

  2)為每個復(fù)制站點創(chuàng)建新用戶,并為其授權(quán)復(fù)制管理員身份,其主要任務(wù)是負責創(chuàng)建并管理復(fù)制的站點,其代碼如下圖所示:

  3)指定本站點的propagator,其主要職責是將本地的最新數(shù)據(jù)傳播到其他站點上,完成任務(wù)。

  4)指定本站點的receiver,其主要職責是接收其他站點上的propagator傳輸過來的數(shù)據(jù),其代碼如下圖所示:

  5)為了提高運行速度,我們需要定時清除已經(jīng)加載的事務(wù),在本例中設(shè)定每小時清除一次。這樣做的目的是避免事務(wù)隊列過長。

  6)調(diào)度數(shù)據(jù)庫鏈接

  我們用同樣的方法法創(chuàng)建處理站點(handle.world)和解釋站點(explain.world)。創(chuàng)建的過程如下:首先,需要先在各個主控站點之間建立數(shù)據(jù)庫鏈接,我們需要先建立一個公用的數(shù)據(jù)庫鏈接,讓它為其他私有數(shù)據(jù)庫鏈接提供服務(wù)。同時,我們需要在解釋站點(explain.world)上建立與處理站點(handle.world)的數(shù)據(jù)庫鏈接。其次,我們要為每個數(shù)據(jù)庫鏈接定義系統(tǒng)調(diào)度的時間。

  5 解決數(shù)據(jù)復(fù)制中的沖突問題

  在進行數(shù)據(jù)庫系統(tǒng)和應(yīng)用程序設(shè)計過程中,設(shè)計者會考慮到?jīng)_突的問題,在設(shè)計時進行優(yōu)化操作,但是站點之間的沖突問題并不能完全避免。一旦發(fā)生沖突,就需要采用沖突解決機制來處理,從而保證各站點數(shù)據(jù)的一致性。我們可以通過以下幾種方法來解決上述問題:

  5.1 查看出錯命令的具體內(nèi)容

  當出現(xiàn)復(fù)制沖突問題時,我們要及時了解哪些數(shù)據(jù)容易出現(xiàn)沖突。在系統(tǒng)中,靜態(tài)數(shù)據(jù)很少出現(xiàn)沖突,發(fā)生沖突的主要是一些變化較大的動態(tài)數(shù)據(jù)。了解這一情況之后,我們要根據(jù)情況來解決沖突問題。其方法有如下幾種,方法1:建立各站點間的優(yōu)先次序,在數(shù)據(jù)不一致時,系統(tǒng)以基準站點上的數(shù)據(jù)為準;方法2:當數(shù)據(jù)不一致時,系統(tǒng)以某個站點上最新更新的修改為準。

  雖然數(shù)據(jù)庫中提供了很多解決方案來避免沖突,如針對更新沖突、刪除沖突、唯一性沖突等多種沖突的解決方案。這些方案都有相應(yīng)的適用范圍,用戶可以根據(jù)具體的業(yè)務(wù)情況來選擇合適的方案來解決沖突問題。除了這些系統(tǒng)中的方案以外,我們還可以通過自定義方案的方法來處理沖突問題。

  5.2 比較數(shù)據(jù)之間的差異

  如果遇到一些查詢復(fù)制出錯的語句,使用人工處理同步失敗時相對容易。但是當復(fù)制錯誤的命令很多時,就會比較麻煩,使用以上方法難以處理。這種情況下,我們一般會選擇忽略失敗的復(fù)制命令,然后通過比較訂閱表的數(shù)據(jù)之間的差異來解決問題 。

  在具體的數(shù)據(jù)復(fù)制應(yīng)用中,還有許多復(fù)雜的問題亟需解決,這些問題需要我們在實際應(yīng)用中繼續(xù)研究,深入探索。

【基于網(wǎng)格的數(shù)據(jù)傳輸與復(fù)制技術(shù)研究論文】相關(guān)文章:

數(shù)字電視數(shù)據(jù)傳輸技術(shù)研究論文10-25

基于知識網(wǎng)格的分布式數(shù)據(jù)挖掘論文04-25

基于移動Agent系統(tǒng)的安全技術(shù)研究論文11-06

基于Android平臺軟件開發(fā)技術(shù)研究論文11-07

基于遺傳算法的車牌定位技術(shù)研究論文11-06

基于非連續(xù)頻譜的短波傳輸技術(shù)研究論文11-06

基于有源吸聲單元的聲隱身技術(shù)研究論文11-06

基于GIS的海量氣象數(shù)據(jù)預(yù)處理技術(shù)研究論文11-06

基于數(shù)據(jù)挖掘的數(shù)字圖書館檢索技術(shù)研究論文11-06