【文本亂序去重的問題】

GoGo闖

現(xiàn)在有一段文本，如下：
“
空調(diào) 牌子 哪個 好
空調(diào) 牌子
牌子 空調(diào)
海爾 壓縮空調(diào) 維修
海爾 空調(diào) 多少錢
多少錢 海爾 空調(diào)
”

其中2、3行和5、6行除了關(guān)鍵詞順序不一樣剩下都一樣，咋實現(xiàn)將這兩個重復(fù)的刪掉，隨便留其中一個，如下：

“
空調(diào) 牌子 哪個 好
牌子 空調(diào)
海爾 壓縮空調(diào) 維修
海爾 空調(diào) 多少錢
”

之前用過sort排序去重，但順序就變了。。

ssfjhh

1. In [1]: s = '''
   
2.    ...: 空調(diào) 牌子 哪個 好
   
3.    ...: 空調(diào) 牌子
   
4.    ...: 牌子 空調(diào)
   
5.    ...: 海爾 壓縮空調(diào) 維修
   
6.    ...: 海爾 空調(diào) 多少錢
   
7.    ...: 多少錢 海爾 空調(diào)
   
8.    ...: '''
   
9. 
   
10. In [2]: ss = [set(i.split()) for i in s.split('\n')]
    
11. 
    
12. In [3]: sss = set(str(i) for i in ss)
    
13. 
    
14. In [4]: ssss = [eval(i) for i in sss]
    
15. 
    
16. In [5]: ssss
    
17. Out[5]:
    
18. [{'哪個', '好', '牌子', '空調(diào)'},
    
19. {'壓縮空調(diào)', '海爾', '維修'},
    
20. {'牌子', '空調(diào)'},
    
21. set(),
    
22. {'多少錢', '海爾', '空調(diào)'}]
    
23. 
    
24. In [6]:

復(fù)制代碼

ssfjhh

1. In [1]: s = '''
   
2.    ...: 空調(diào) 牌子 哪個 好
   
3.    ...: 空調(diào) 牌子
   
4.    ...: 牌子 空調(diào)
   
5.    ...: 海爾 壓縮空調(diào) 維修
   
6.    ...: 海爾 空調(diào) 多少錢
   
7.    ...: 多少錢 海爾 空調(diào)
   
8.    ...: '''
   
9. 
   
10. In [2]: ss = [set(i.split()) for i in s.split('\n')]
    
11. 
    
12. In [3]: ss
    
13. Out[3]:
    
14. [set(),
    
15. {'哪個', '好', '牌子', '空調(diào)'},
    
16. {'牌子', '空調(diào)'},
    
17. {'牌子', '空調(diào)'},
    
18. {'壓縮空調(diào)', '海爾', '維修'},
    
19. {'多少錢', '海爾', '空調(diào)'},
    
20. {'多少錢', '海爾', '空調(diào)'},
    
21. set()]
    
22. 
    
23. In [4]: ss.remove(set())
    
24. 
    
25. In [5]: ss.remove(set())
    
26. 
    
27. In [6]: ss
    
28. Out[6]:
    
29. [{'哪個', '好', '牌子', '空調(diào)'},
    
30. {'牌子', '空調(diào)'},
    
31. {'牌子', '空調(diào)'},
    
32. {'壓縮空調(diào)', '海爾', '維修'},
    
33. {'多少錢', '海爾', '空調(diào)'},
    
34. {'多少錢', '海爾', '空調(diào)'}]
    
35. 
    
36. In [7]: [ss[i] for i in range(len(ss)) if ss[i] not in ss[:i]]
    
37. Out[7]:
    
38. [{'哪個', '好', '牌子', '空調(diào)'},
    
39. {'牌子', '空調(diào)'},
    
40. {'壓縮空調(diào)', '海爾', '維修'},
    
41. {'多少錢', '海爾', '空調(diào)'}]
    
42. 
    
43. In [8]:

復(fù)制代碼