精準(zhǔn)、高效的重復(fù)數(shù)據(jù)刪除

數(shù)據(jù)的備份保護(hù)，總是充斥著大量冗余數(shù)據(jù)占用存儲(chǔ)空間，為了解決這個(gè)問題，人們開始關(guān)注“重復(fù)數(shù)據(jù)刪除”技術(shù)，希望能節(jié)約出大量的存儲(chǔ)空間。所以，在數(shù)據(jù)的備份容災(zāi)產(chǎn)品中，“重復(fù)數(shù)據(jù)刪除”技術(shù)也就成了考量產(chǎn)品在技術(shù)含量、運(yùn)行性能、產(chǎn)品質(zhì)量等方面是否優(yōu)越的考核指標(biāo)之一。

一、重復(fù)數(shù)據(jù)刪除的應(yīng)用優(yōu)勢

鼎甲科技在重復(fù)數(shù)據(jù)刪除的處理上，立足于用戶角度，既實(shí)現(xiàn)了減少對(duì)客戶端主機(jī)資源的占用，又實(shí)現(xiàn)了數(shù)據(jù)存儲(chǔ)空間的節(jié)約使用。

??

1. 支持源端去重??，減少備份業(yè)務(wù)在數(shù)據(jù)傳輸時(shí)對(duì)網(wǎng)絡(luò)資源的占用。

2. 集合了固定塊和變長塊的分割技術(shù)，??對(duì)不同的備份目標(biāo)類型選用合適的數(shù)據(jù)分塊技術(shù)。同時(shí)，采用變長塊分割技術(shù)可以針對(duì)不同范圍內(nèi)的數(shù)據(jù)對(duì)象進(jìn)行動(dòng)態(tài)分塊，使得數(shù)據(jù)塊的匹配概率和效率更高。

3. 采用優(yōu)化的指紋索引技術(shù)進(jìn)行數(shù)據(jù)比對(duì)。??通過把指紋數(shù)據(jù)讀到內(nèi)存中處理，提升數(shù)據(jù)的比對(duì)效率，并減少了對(duì)客戶端主機(jī)計(jì)算資源的占用，使得數(shù)據(jù)去重運(yùn)算在客戶端主機(jī)資源占用和重刪率之間達(dá)到最佳平衡點(diǎn)。

4. 支持全局重刪和局部重刪，??全局重刪只保存唯一一份相同數(shù)據(jù)，最大化減少備份數(shù)據(jù)的冗余存儲(chǔ)。

二、重復(fù)數(shù)據(jù)刪除的核心技術(shù)

??鼎甲科技為了達(dá)到最佳的數(shù)據(jù)去重效果，DBackup中集合了固定塊和變長塊的分割技術(shù)。??

• 固定塊分割技術(shù)，是把備份數(shù)據(jù)分割成互不重疊的定長數(shù)據(jù)塊，常用的塊大小有4k、8k、16k、32k、64k、128k等，由于不需要對(duì)數(shù)據(jù)塊的分界點(diǎn)進(jìn)行計(jì)算，所以運(yùn)算相對(duì)簡單，計(jì)算資源占用較少。但由于采用了定長的分塊處理，當(dāng)向數(shù)據(jù)對(duì)象中插入數(shù)據(jù)或者從中刪除數(shù)據(jù)時(shí)，會(huì)導(dǎo)致數(shù)據(jù)塊重新分塊，嚴(yán)重地影響重復(fù)數(shù)據(jù)刪除的效果。

• 變長塊分割技術(shù)，對(duì)備份的數(shù)據(jù)通過一個(gè)不斷滑動(dòng)的窗口來確定數(shù)據(jù)塊分界，按其特征函數(shù)把備份數(shù)據(jù)動(dòng)態(tài)分割成不同大小的數(shù)據(jù)塊?；谧冮L塊的處理，有效的解決了固定塊分割中存在的問題，當(dāng)向數(shù)據(jù)對(duì)象中插入數(shù)據(jù)或者從中刪除數(shù)據(jù)時(shí)，如果變化的內(nèi)容不在數(shù)據(jù)塊的邊界內(nèi)，數(shù)據(jù)塊不發(fā)生改變；當(dāng)新增的內(nèi)容產(chǎn)生一個(gè)新的邊界時(shí)，一個(gè)數(shù)據(jù)塊會(huì)分成兩個(gè)數(shù)據(jù)塊；如果變化的內(nèi)容發(fā)生在滑動(dòng)窗口內(nèi)，將會(huì)破壞分界數(shù)據(jù)塊，那么兩個(gè)數(shù)據(jù)塊合成一個(gè)數(shù)據(jù)塊，或者兩個(gè)數(shù)據(jù)塊之間的邊界發(fā)生變化，產(chǎn)生新的數(shù)據(jù)塊。因此，插入或者刪除內(nèi)容只影響相鄰的一個(gè)或者兩個(gè)數(shù)據(jù)塊，其余數(shù)據(jù)塊不會(huì)受影響，這樣使得數(shù)據(jù)的去重更為精準(zhǔn)，但由于需要不斷計(jì)算數(shù)據(jù)的分界，導(dǎo)致占用部分計(jì)算資源。

三、鼎甲科技實(shí)現(xiàn)數(shù)據(jù)重刪的社會(huì)價(jià)值

鼎甲科技對(duì)重復(fù)數(shù)據(jù)刪除的實(shí)現(xiàn)，在數(shù)據(jù)分塊處理上，充分利用了固定塊和變長塊的技術(shù)優(yōu)勢，既保障了源端重刪時(shí)對(duì)客戶端主機(jī)資源的最小化占用，又實(shí)現(xiàn)了對(duì)重復(fù)數(shù)據(jù)的最大化刪除。

固定塊分割技術(shù)相對(duì)比較簡單，所以目前在國內(nèi)外多數(shù)備份產(chǎn)品的數(shù)據(jù)重刪處理中普遍使用。而變長塊的處理技術(shù)，由于涉及到數(shù)據(jù)塊的動(dòng)態(tài)分割，技術(shù)難度較大，目前國內(nèi)尚無備份產(chǎn)品能實(shí)現(xiàn)，即使在國際的主流備份產(chǎn)品中，也只有數(shù)個(gè)具有很強(qiáng)技術(shù)實(shí)力的公司能實(shí)現(xiàn)。

鼎甲科技對(duì)于變長塊技術(shù)，投入了大量的人力物力，經(jīng)過長時(shí)間的研究和論證，在鼎甲迪備產(chǎn)品中利用這一技術(shù)實(shí)現(xiàn)了數(shù)據(jù)重刪處理，可以驕傲的說：填補(bǔ)了國內(nèi)在使用變長塊進(jìn)行數(shù)據(jù)重刪處理上的技術(shù)空白。