亚洲av成人无遮挡网站在线观看,少妇性bbb搡bbb爽爽爽,亚洲av日韩精品久久久久久,兔费看少妇性l交大片免费,无码少妇一区二区三区

  免費(fèi)注冊(cè) 查看新帖 |

Chinaunix

  平臺(tái) 論壇 博客 文庫
最近訪問板塊 發(fā)新帖
查看: 4355 | 回復(fù): 8
打印 上一主題 下一主題

[C] linux爬蟲url編碼問題 [復(fù)制鏈接]

論壇徽章:
0
跳轉(zhuǎn)到指定樓層
1樓 [收藏(0)] [報(bào)告]
發(fā)表于 2013-10-14 22:14 |只看該作者 |倒序?yàn)g覽
最近在linux下用c學(xué)習(xí)網(wǎng)絡(luò)爬蟲程序，每次爬取的url鏈接存儲(chǔ)在本地磁盤中，需要時(shí)在從磁盤中讀取url。
當(dāng)鏈接包含中文時(shí)，想網(wǎng)站發(fā)送url時(shí)，會(huì)是亂碼，請(qǐng)問大神，該如何解決？在線等！

論壇徽章:
17
處女座 日期:2013-08-27 09:59:352015亞冠之柏太陽神 日期:2015-07-30 10:16:402015亞冠之薩濟(jì)拖拉機(jī) 日期:2015-07-29 18:58:182015年亞洲杯之巴勒斯坦 日期:2015-03-06 17:38:17摩羯座 日期:2014-12-11 21:31:34戌狗 日期:2014-07-20 20:57:32子鼠 日期:2014-05-15 16:25:21亥豬 日期:2014-02-11 17:32:05丑牛 日期:2014-01-20 15:45:51丑牛 日期:2013-10-22 11:12:56雙子座 日期:2013-10-18 16:28:17白羊座 日期:2013-10-18 10:50:45
2樓 [報(bào)告]
發(fā)表于 2013-10-14 22:34 |只看該作者
回復(fù) 1# zxlkiyu

鏈接內(nèi)容是不能有中文的，所以有中文都經(jīng)過了編碼，你怎么可能抓到含”中文明文“的鏈接呢。中文編碼在鏈接中會(huì)選擇某種中文編碼先編碼(gb2312 or utf-�？梢钥纯磍ibcurl。
   

論壇徽章:
0
3樓 [報(bào)告]
發(fā)表于 2013-10-14 22:50 |只看該作者
回復(fù) 2# myworkstation


    謝謝您的回復(fù)！
舉個(gè)例子：網(wǎng)站A為gb2312編碼，下面包含一些中文鏈接a,b,c，這些中文鏈接應(yīng)該時(shí)經(jīng)過gb2312編碼過的，獲取a,b,c后通過creat寫入到文件中，
然后在read到爬取隊(duì)列中，然后通過socket發(fā)送 html請(qǐng)求（GET 中文鏈接a），這是發(fā)送過去的就是亂碼了，請(qǐng)問是什么原因！

論壇徽章:
17
處女座 日期:2013-08-27 09:59:352015亞冠之柏太陽神 日期:2015-07-30 10:16:402015亞冠之薩濟(jì)拖拉機(jī) 日期:2015-07-29 18:58:182015年亞洲杯之巴勒斯坦 日期:2015-03-06 17:38:17摩羯座 日期:2014-12-11 21:31:34戌狗 日期:2014-07-20 20:57:32子鼠 日期:2014-05-15 16:25:21亥豬 日期:2014-02-11 17:32:05丑牛 日期:2014-01-20 15:45:51丑牛 日期:2013-10-22 11:12:56雙子座 日期:2013-10-18 16:28:17白羊座 日期:2013-10-18 10:50:45
4樓 [報(bào)告]
發(fā)表于 2013-10-14 23:20 |只看該作者
回復(fù) 3# zxlkiyu

從文件中讀出來的是亂碼嗎？http協(xié)議是正確的嗎？
   

論壇徽章:
0
5樓 [報(bào)告]
發(fā)表于 2013-10-14 23:26 |只看該作者
回復(fù) 4# myworkstation


    文件讀出來是正確的，設(shè)置終端為相應(yīng)編碼，可以顯示中文，發(fā)送過去后就是亂碼了。

論壇徽章:
0
6樓 [報(bào)告]
發(fā)表于 2013-10-15 09:11 |只看該作者

論壇徽章:
13
雙魚座 日期:2013-10-23 09:30:05數(shù)據(jù)庫技術(shù)版塊每日發(fā)帖之星 日期:2016-04-20 06:20:00程序設(shè)計(jì)版塊每日發(fā)帖之星 日期:2016-03-09 06:20:002015亞冠之塔什干火車頭 日期:2015-11-02 10:07:452015亞冠之德黑蘭石油 日期:2015-08-30 10:07:07數(shù)據(jù)庫技術(shù)版塊每日發(fā)帖之星 日期:2015-08-28 06:20:00數(shù)據(jù)庫技術(shù)版塊每日發(fā)帖之星 日期:2015-08-05 06:20:002015年迎新春徽章 日期:2015-03-04 09:57:09辰龍 日期:2014-12-03 14:45:52酉雞 日期:2014-07-23 09:46:23亥豬 日期:2014-03-13 08:46:22金牛座 日期:2014-02-11 09:36:21
7樓 [報(bào)告]
發(fā)表于 2013-10-15 09:20 |只看該作者
鏈接都是要進(jìn)行urlencode的啊

論壇徽章:
17
處女座 日期:2013-08-27 09:59:352015亞冠之柏太陽神 日期:2015-07-30 10:16:402015亞冠之薩濟(jì)拖拉機(jī) 日期:2015-07-29 18:58:182015年亞洲杯之巴勒斯坦 日期:2015-03-06 17:38:17摩羯座 日期:2014-12-11 21:31:34戌狗 日期:2014-07-20 20:57:32子鼠 日期:2014-05-15 16:25:21亥豬 日期:2014-02-11 17:32:05丑牛 日期:2014-01-20 15:45:51丑牛 日期:2013-10-22 11:12:56雙子座 日期:2013-10-18 16:28:17白羊座 日期:2013-10-18 10:50:45
8樓 [報(bào)告]
發(fā)表于 2013-10-15 11:51 |只看該作者
回復(fù) 5# zxlkiyu


    你的說法有問題，中文鏈接其真正的鏈接都是經(jīng)過編碼的，你終端再怎么設(shè)置也不可能顯示出中文來。比如說你的鏈接是這樣“http://www.baidu.com/s?wd=%E4%B8%AD%E6%96%87”而不是這樣“http://www.baidu.com/s?wd=中文”。我想你沒有表達(dá)清楚你的問題。

論壇徽章:
59
2015年亞洲杯之約旦 日期:2015-01-27 21:27:392015年亞洲杯之日本 日期:2015-02-06 22:09:41拜羊年徽章 日期:2015-03-03 16:15:432015年辭舊歲徽章 日期:2015-03-03 16:54:152015年迎新春徽章 日期:2015-03-04 09:50:282015元宵節(jié)徽章 日期:2015-03-06 15:50:392015年亞洲杯之阿聯(lián)酋 日期:2015-03-19 17:39:302015年亞洲杯之中國 日期:2015-03-23 18:52:23巳蛇 日期:2014-12-14 22:44:03雙子座 日期:2014-12-10 21:39:16處女座 日期:2014-12-02 08:03:17天蝎座 日期:2014-07-21 19:08:47
9樓 [報(bào)告]
發(fā)表于 2013-10-15 12:33 |只看該作者
你要讀文件http頭, 愛它用的什么編碼。
您需要登錄后才可以回帖 登錄 | 注冊(cè)

本版積分規(guī)則 發(fā)表回復(fù)

  

北京盛拓優(yōu)訊信息技術(shù)有限公司. 版權(quán)所有 京ICP備16024965號(hào)-6 北京市公安局海淀分局網(wǎng)監(jiān)中心備案編號(hào)：11010802020122 niuxiaotong@pcpop.com 17352615567
未成年舉報(bào)專區(qū)
中國互聯(lián)網(wǎng)協(xié)會(huì)會(huì)員  聯(lián)系我們：huangweiwei@itpub.net
感謝所有關(guān)心和支持過ChinaUnix的朋友們 轉(zhuǎn)載本站內(nèi)容請(qǐng)注明原作者名及出處

清除 Cookies - ChinaUnix - Archiver - WAP - TOP