請教關于建長索引的問題

xiaothree

現在處理海量URL，采用方法為先對URL串求出一個hash值，然后以hash值和url串為key存入表，
由于索引長度限制，url字段只有前320左右的字符被用于索引。
現在存在一些URL串，長度超過400，而且前350的字符都是相同的，由于某些原因，這些串求出
的hash值也是相同的，這樣就導致了插入表失敗。
不知道有沒有好的方法處理這個問題，能不能從后面截取串的指定長度來做key？

gogo407

把url做hash方法是對的
但是你細節(jié)上還有改進的
把url做md5 得32位的hash key
這樣就可以了，把key做成索引就好了
如
key
f44aa2173b673075340781a12f997ce0  http://www.123.com/
6ba8a0d666352ec6e569ee445bfbabce  http://www.123.com/123

yueliangdao0608

那你的HASH算法就有問題了。重新搞一下。

sunnyfun

md5也是Hash 算法的一種啊

回復 樓主

既然是hash算法，那必然有可能重復，只是概率的大小問題。
從url的特征來看，或許可以變通一下，比如把key改成 md5(url)+md5(left(url,50))+md5(right(url,50))
甚至再搞個SHA1也可以考慮
總之，既然準備使用hash作為key，能做的就是盡量減少重復的概率，然后祈禱吧

wildlily980

350字符長度的索引太長了.10個足夠.
你所說的情況,用程序把前面的相同部分去掉即可.取出時再補上.

gogo407

原帖由 sunnyfun 于 2008-11-12 16:54 發(fā)表
md5也是Hash 算法的一種啊

回復 樓主

既然是hash算法，那必然有可能重復，只是概率的大小問題。
從url的特征來看，或許可以變通一下，比如把key改成 md5(url)+md5(left(url,50))+md5(right(url,50))
甚 ...

1.謝謝提醒
2.我沒說過或者暗示過md5不是hash算法
我很生氣
哈哈

xiaothree

恩，改了一下hash算法，盡可能規(guī)避了重復的概率