談談我做拼音搜索的一點經(jīng)驗

Coding扣釘

需要注意的一些事情
本文使用的為 Java 語言解決方案。

搜索方法上，按照個人理解，有兩點關鍵:

• 分詞
  

將類似 “women” 這樣的詞分解成 “wo’men”。經(jīng)過這樣的分詞，在搜索時無論通過全拼音匹配，還是首字母匹配，處理起來都比較方便。

• 詞庫構建
  

目前我接觸過的常見搜索場景有兩種，它們對詞庫的建立有如下影響:

1.通訊錄搜索
對詞庫有頻繁的添加 / 刪除操作。

2.站內搜索
使用預先維護好的詞庫。

如果是通訊錄搜索，可以在新建聯(lián)系人的時候，把聯(lián)系人的名字轉為拼音，存入數(shù)據(jù)庫中另一個記錄拼音的字段，在搜索的時候通過拼音來匹配。
如果是站內搜索，可以直接建立拼音詞庫，搜索的時候通過拼音來匹配。

實現(xiàn)
首先是詞庫的構建。毫無疑問，我們需要為詞庫建一張至少包含中文詞匯以及對應的拼音詞匯的表。
通訊錄搜索，可能會使用一些例如 pinyin4j 的第三方庫，將中文字轉換為拼音。當然也我們可以自己實現(xiàn)轉換拼音的功能，如果這樣做，則需要在代碼中設定好中文字庫和對應的拼音，同時特別注意多音字的處理。

下面是使用 pinyin4j 庫的例子。使用 pinyin4j 庫可以支持簡體 / 繁體中文轉換為拼音，而且支持帶聲調的格式化輸出。
我們使用 Maven 來添加 pinyin4j，在 pom.xml 中添加

1. <dependencies>
   
2.         <dependency>
   
3.             <groupId>com.belerweb</groupId>
   
4.             <artifactId>pinyin4j</artifactId>
   
5.             <version>2.5.0</version>
   
6.         </dependency>
   
7.     </dependencies>

復制代碼

實現(xiàn)類:

1. public class Chinese {
   
2.     private HanyuPinyinOutputFormat format = null;
   
3. 
   
4.     private String[] pinyin;
   
5. 
   
6.     public Chinese() {
   
7.         format = new HanyuPinyinOutputFormat();
   
8.         format.setToneType(HanyuPinyinToneType.WITHOUT_TONE);
   
9.         pinyin = null;
   
10.     }
    
11. 
    
12.     //轉換單個中文字符
    
13.     public String getCharacterPinYin(char c) {
    
14.         try {
    
15.             pinyin = PinyinHelper.toHanyuPinyinStringArray(c, format);
    
16.         } catch(BadHanyuPinyinOutputFormatCombination e) {
    
17.             e.printStackTrace();
    
18.         }
    
19. 
    
20.         // 如果c不是漢字，返回null
    
21.         if(null == pinyin)
    
22.             return null;
    
23. 
    
24.         // 多音字取第一個值
    
25.         return pinyin[0];
    
26.     }
    
27. 
    
28.     //轉換一個字符串
    
29.     public String getStringPinYin(String str) {
    
30.         StringBuilder sb = new StringBuilder();
    
31. 
    
32.         for(int i = 0; i < str.length(); ++i) {
    
33.             String tmp = getCharacterPinYin(str.charAt(i));
    
34.             if(null == tmp) {
    
35.                 // 如果str.charAt(i)不是漢字，則保持原樣
    
36.                 sb.append(str.charAt(i));
    
37.             } else {
    
38.                 sb.append(tmp);
    
39.                 //分詞
    
40.                 if ( i < str.length() - 1 && null != getCharacterPinYin(str.charAt(i + 1))) {
    
41.                     sb.append("\'");
    
42.                 }
    
43.             }
    
44.         }
    
45.         return sb.toString().trim();
    
46.     }
    
47. 
    
48.     public static void main(String[] args) {
    
49.         Chinese chinese = new Chinese();
    
50.         String str = "哈哈，我愛 Coding";
    
51.         String pinYin = chinese.getStringPinYin(str);
    
52.         System.out.println(pinYin);
    
53.     }
    
54. }

復制代碼

輸出的結果

1. ha'ha，wo'ai Coding

復制代碼

每當有通訊錄聯(lián)系人更新時，采用上述方法更新數(shù)據(jù)庫中的拼音字段即可。



站內搜索，詞庫來源可以使用搜狗標準詞庫和細胞詞庫等。
搜狗標準詞庫

下載的搜狗詞庫可以使用深藍詞庫轉換器來轉換成 txt 文件，或者其他輸入法的標準格式。
深藍詞庫轉換 2.0

轉換為 txt 文件后，處理以后，修改成為 insert 語句，插入數(shù)據(jù)庫。



最后的關鍵，就是將輸入的拼音分詞，然后與數(shù)據(jù)庫中的拼音字段匹配，分詞采用正則表達式實現(xiàn)。

分詞實現(xiàn)：

1. public class PinyinUtils {
   
2. 
   
3.         //分詞正則表達式
   
4.     public static String regEx  = "[^aoeiuv]?h?[iuv]?(ai|ei|ao|ou|er|ang?|eng?|ong|a|o|e|i|u|ng|n)?";
   
5. 
   
6.     public static String split(String input) {
   
7.         int tag = 0;
   
8.         StringBuffer sb = new StringBuffer();
   
9.         String formatted = "";
   
10.         List<String> tokenResult = new ArrayList<String>();
    
11.         for (int i = input.length(); i > 0; i = i - tag) {
    
12.             Pattern pat = Pattern.compile(regEx);
    
13.             Matcher matcher = pat.matcher(input);
    
14.             boolean rs = matcher.find();
    
15.             sb.append(matcher.group());
    
16.             sb.append("\'");
    
17.             tag = matcher.end() - matcher.start();
    
18.             tokenResult.add(input.substring(0, 1));
    
19.             input = input.substring(tag);
    
20.         }
    
21.         if (sb.length() > 0) {
    
22.             formatted = sb.toString().substring(0, sb.toString().length() - 1);
    
23.         }
    
24.         return formatted;
    
25.     }
    
26. 
    
27. 
    
28.     public static void main(String[] args) {
    
29.         String str = "koudingboke";
    
30.         System.out.println(PinyinUtils.split(str));
    
31.     }
    
32. }

復制代碼

輸出結果  

1. kou'ding'bo'ke

復制代碼

根據(jù)此輸出結果，在詞庫中匹配即可。

根據(jù)以上方式搜索出的詞匯，會比較固定。如果有按照搜索頻率對搜索結果排序的需求，可以針對每個詞匯的查詢計數(shù)。具體實現(xiàn)這里不再贅述。



個人一點粗淺經(jīng)驗，歡迎各位大牛一起交流。

本文來自 Coding 官方技術博客（blog.coding.net），如需轉載請注明出處，謝謝。