linux c/c++ 字符串含中文的問題

FightForWin

大家好，請教大家一個問題，就是怎樣確定一個字符串的編碼，注意不是文件的，就是一個字符串。

是這樣的，我從網(wǎng)絡(luò)上收到一個數(shù)據(jù)包（通常是瀏覽器發(fā)過來的），其中有可能包含中文，
這樣在處理時便會出問題，現(xiàn)在是要把網(wǎng)絡(luò)上來的數(shù)據(jù)都轉(zhuǎn)成utf-8編碼。

所以請問對大家，有什么方法可以較快的確認(rèn)一個字符串（就是網(wǎng)絡(luò)上的數(shù)據(jù)包）的編碼方式嗎？

因為只有知道了字符串的編碼方式，才能有效的對其進(jìn)行 utf-8 編碼，謝謝。。

環(huán)境為linux ,語言 C/C++

謝謝!

FightForWin

網(wǎng)上找到一些資料，先擺這，明天再研究了，大家有什么想法就說一下

以下來源：http://topic.csdn.net/u/20090204 ... a-42e211015e12.html 96樓。

查了一下，找到了這個猜字符編碼的算法代碼，叫chartdet 它是mozilla firefox使用的自動字符集探測算法

這個算法的最初作者是frank Tang,C++源代碼在http://lxr.mozilla.org/mozilla/source/intl/chardet/，可以從http://www.mozilla.org/projects/intl/chardet.html得到更多關(guān)于這個算法的信息。


jchardet是mozilla自動字符集探測算法代碼的java移植,其源代碼可以從sourceforge下載

nketc

icu 里面也有猜測編碼的方法。

瀏覽器傳過來的話，html標(biāo)簽里有啊，lz干嘛不用？

FightForWin

icu 里面也有猜測編碼的方法。

瀏覽器傳過來的話，html標(biāo)簽里有啊，lz干嘛不用？
nketc 發(fā)表于 2011-04-06 23:43

謝謝，瀏覽器里有嗎？
accept-encoding字段？這個字段有時候是 */*   ,沒法用吧？

FightForWin

用libconv
如果已經(jīng)是utf-8編碼，再轉(zhuǎn)是不會變的，然后比較2個字符串是否相當(dāng)。
c/unix 發(fā)表于 2011-04-07 08:45

    謝謝，我查了一下，libconv是用于已知原字符串編碼的轉(zhuǎn)換，但我現(xiàn)在關(guān)鍵是不知道源字符串的編碼，這樣也就無法確認(rèn)調(diào)用哪個編碼轉(zhuǎn)換函數(shù)。
有這方面的經(jīng)驗不？請指教一下。
謝謝。

cobras

可以采用假設(shè)測試算法：先假設(shè)一種算法然后將一段內(nèi)容轉(zhuǎn)換為unicode，然后再轉(zhuǎn)換回，比較結(jié)果與原來的編碼，如果相同，則假設(shè)成立。如果選取的內(nèi)容為全部，則可以保證100%正確，但是部分選取則可能假設(shè)失敗。

nizvoo

猜測

nketc

回復(fù) 5# FightForWin


    <meta http-equiv="Content-Type" content="text/html; charset=gbk" />
是html嗎？這個標(biāo)簽里有。

FightForWin

回復(fù)  FightForWin


   
是html嗎？這個標(biāo)簽里有。
nketc 發(fā)表于 2011-04-07 17:54

    你好，非常感謝。
但這種形式的包好像只存在于服務(wù)器的應(yīng)答包里，客戶發(fā)出的請求包并不包含這些數(shù)據(jù)。