如何進(jìn)行高效的md5匹配

j3kljs02398j

現(xiàn)在的網(wǎng)盤(pán)，搜索到公共資源后，可以保存到自己的網(wǎng)盤(pán)內(nèi)。這個(gè)時(shí)候資源文件肯定不是復(fù)制一份到自己的空間，應(yīng)該是對(duì)資源的一個(gè)索引記錄。那么這個(gè)過(guò)程必然有一個(gè)類(lèi)似md5查詢的過(guò)程。

有沒(méi)有人知道各大網(wǎng)盤(pán)的實(shí)現(xiàn)，比如百度網(wǎng)盤(pán)，我發(fā)現(xiàn)這個(gè)過(guò)程是很快的。

hellioncu

字典樹(shù)、hash都可以吧

linux_c_py_php

樓主應(yīng)該了解一下BT種子和磁力鏈?zhǔn)窃趺瓷�成的，你就知道為什么可以直接作為唯一索引了�?/td>

j3kljs02398j

回復(fù) 2# hellioncu


    猜想上，字典樹(shù)與hash都應(yīng)該是可以的。不過(guò)還是比較想知道，做相關(guān)項(xiàng)目的人具體的解決方式（數(shù)據(jù)量最少應(yīng)該在100W的級(jí)別)

j3kljs02398j

回復(fù) 3# linux_c_py_php


    非常感謝，粗略的了解了下。磁力鏈貌似是為了解決地址的唯一性？  其實(shí)我想問(wèn)的問(wèn)題給定一個(gè)鏈接，如果在一個(gè)千萬(wàn)級(jí)別的鏈接庫(kù)中找到這個(gè)鏈接。其實(shí)就是個(gè)字符串查找的過(guò)程。

skycs13

hash is good for you

linux_c_py_php

j3kljs02398j 發(fā)表于 2014-04-24 09:53
回復(fù) 3# linux_c_py_php

你需要的是一個(gè)分布式的kv存儲(chǔ)系統(tǒng), 開(kāi)源實(shí)現(xiàn)有幾款，千萬(wàn)級(jí)數(shù)據(jù)量對(duì)任何一款都是小事。。

j3kljs02398j

回復(fù) 7# linux_c_py_php


    bingo,非常感謝

帥絕人寰

linux_c_py_php 發(fā)表于 2014-04-25 15:38
你需要的是一個(gè)分布式的kv存儲(chǔ)系統(tǒng), 開(kāi)源實(shí)現(xiàn)有幾款，千萬(wàn)級(jí)數(shù)據(jù)量對(duì)任何一款都是小事。。

求詳細(xì)指點(diǎn)



直覺(jué)告訴我，這應(yīng)該是個(gè) 字典樹(shù)的 實(shí)現(xiàn)？