HttpClient根據(jù)jsoup解析網(wǎng)頁

三里屯搖滾

HttpClient根據(jù)jsoup解析網(wǎng)頁

Java代碼

1. 1.package jsoup;   
   
2. 2.  
   
3. 3.import org.apache.http.HttpEntity;   
   
4. 4.import org.apache.http.HttpResponse;   
   
5. 5.import org.apache.http.HttpStatus;   
   
6. 6.import org.apache.http.client.HttpClient;   
   
7. 7.import org.apache.http.client.methods.HttpGet;   
   
8. 8.import org.apache.http.impl.client.DefaultHttpClient;   
   
9. 9.import org.apache.http.util.EntityUtils;   
   
10. 10.import org.jsoup.Jsoup;   
    
11. 11.import org.jsoup.nodes.Document;   
    
12. 12.import org.jsoup.nodes.Element;   
    
13. 13.import org.jsoup.select.Elements;   
    
14. 14.  
    
15. 15./**  
    
16. 16. * 利用HttpClient獲取html代碼，然后使用jsoup對html代碼進(jìn)行解析  
    
17. 17. * @author Administrator  
    
18. 18. *  
    
19. 19. */  
    
20. 20.public class JustTest {   
    
21. 21.    public static void main(String[] args) {   
    
22. 22.        String html = getHtmlByUrl("http://www.iteye.com/");   
    
23. 23.        if (html != null && !"".equals(html)) {   
    
24. 24.            Document doc = Jsoup.parse(html);   
    
25. 25.            Elements linksElements = doc   
    
26. 26.                    .select("div#page>div#content>div#main>div.left>div#recommend>ul>li>a");   
    
27. 27.            // 以上代碼的意思是 找id為“page”的div里面 id為“content”的div里面 id為“main”的div里面   
    
28. 28.            // class為“l(fā)eft”的div里面 id為“recommend”的div里面ul里面li里面a標(biāo)簽   
    
29. 29.            for (Element ele : linksElements) {   
    
30. 30.                String href = ele.attr("href");   
    
31. 31.                String title = ele.text();   
    
32. 32.                System.out.println(href + "," + title);   
    
33. 33.            }   
    
34. 34.        }   
    
35. 35.    }   
    
36. 36.  
    
37. 37.    /**  
    
38. 38.     * 根據(jù)URL獲得所有的html信息  
    
39. 39.     *   
    
40. 40.     * @param url  
    
41. 41.     * @return  
    
42. 42.     */  
    
43. 43.    public static String getHtmlByUrl(String url) {   
    
44. 44.        String html = null;   
    
45. 45.        HttpClient httpClient = new DefaultHttpClient();// 創(chuàng)建httpClient對象   
    
46. 46.        HttpGet httpget = new HttpGet(url);// 以get方式請求該URL   
    
47. 47.        try {   
    
48. 48.            HttpResponse responce = httpClient.execute(httpget);// 得到responce對象   
    
49. 49.            int resStatu = responce.getStatusLine().getStatusCode();// 返回碼   
    
50. 50.            if (resStatu == HttpStatus.SC_OK) {// 200正常 其他就不對   
    
51. 51.                // 獲得相應(yīng)實(shí)體   
    
52. 52.                HttpEntity entity = responce.getEntity();   
    
53. 53.                if (entity != null) {   
    
54. 54.                    html = EntityUtils.toString(entity);// 獲得html源代碼   
    
55. 55.                    System.out.println(html);   
    
56. 56.                }   
    
57. 57.            }   
    
58. 58.        } catch (Exception e) {   
    
59. 59.            System.out.println("訪問【" + url + "】出現(xiàn)異常!");   
    
60. 60.            e.printStackTrace();   
    
61. 61.        } finally {   
    
62. 62.            httpClient.getConnectionManager().shutdown();   
    
63. 63.        }   
    
64. 64.        return html;   
    
65. 65.    }   
    
66. 66.}  

復(fù)制代碼

向上吧少年

謝謝分享