歡迎討論，各抒己見，有沒有好一些的module來完成html的抓取

L_WC

目的： 抓html菜單和url，菜單有一級二級標(biāo)題分類
現(xiàn)在每次都用正則抓的，不同的網(wǎng)站要重新分析重新抓，有沒有好一些的module來完成這件事情，提高復(fù)用性，減少重新編碼。

PS：只討論解析就好了，不需要關(guān)心怎么抓。

RE_HASH

同感，尤其是js 做的，更要命

104359176

Perl 解析 html 的大都是用 Hash 做數(shù)據(jù)容器, 而 Hash 又沒有順序, 于是為了恢復(fù)抓取時(shí)的順序, 相關(guān)的代碼和模塊又增加了另外的排序參數(shù), 比較復(fù)雜.

用帶順序的數(shù)組來解析, 就沒有這個問題. 建議自己寫一個解析 html 數(shù)據(jù)結(jié)構(gòu)的函數(shù)吧.

stanley_tam

Mojo::UserAgent可以像css選擇器一樣操作html，你還要怎樣

1. use Mojo::UserAgent;
   
2. my $ua = Mojo::UserAgent->new;
   
3. say $ua->get('blogs.perl.org')
   
4.   ->res->dom->find('h2 > a')->map('text')->join("\n");

復(fù)制代碼

大米白面

WWW::Mechanize

kingfighters

web::scraper

不過折騰到最后，還是Mojo**好

hztj2005

stanley_tam 發(fā)表于 2016-08-25 13:41
Mojo::UserAgent可以像css選擇器一樣操作html，你還要怎樣

請教一下，我在win10下用ActivePerl，想安裝Mojo::UserAgent，但ppm中只找到Mojo-UserAgent_t，不知該文件為什么后面有個t，是否就是Mojo::UserAgent？，還是要安裝其它包。


Mojo-UserAgent_t，
        Version:       
        Released:        2016-03-04
        Author:        Chen Ci <744891290@qq.com>
        CPAN:        search.cpan.org/dist/Mojo-UserAgent_t-

stanley_tam

如果是activeperl的話，在模塊介紹頁貌似有cpan鏈接的吧。打開看下是不是一樣的吧。
回復(fù) 7# hztj2005

L_WC

回復(fù) 4# stanley_tam

只有用mojo抓的時(shí)候才試用，很多時(shí)候用phantomjs，最后就一個html content， 想討論一種 常規(guī)下的 html頁面的解析通用辦法。