分享一個記錄搜索引擎爬蟲程序

abellq

function saveRobot($dir)
{
        $addtime = date('Y-m-d H:i:s',time());
        $GetLocationURL= "http://".$_SERVER["HTTP_HOST"].$_SERVER['REQUEST_URI'] ;
        $agent1 = $_SERVER["HTTP_USER_AGENT"] ;  
        $agent=strtolower($agent1);
        $Bot='';
        if (strpos($agent,"googlebot")>-1){$Bot = "Google";}           
        if (strpos($agent,"mediapartners-google")>-1){$Bot = "Google";}
        if (strpos($agent,"baiduspider")>-1){$Bot = "Baidu";}
        if (strpos($agent,"sogou spider")>-1){$Bot = "Sogou";}
        if (strpos($agent,"sosospider")>-1){$Bot = "Soso";}
        if($Bot!="")
        {
                $mDateTime=date("Y-m-d");
                //檢查今天表存在否，不存在就建立。
                file_put_contents($dir."/$mDateTime.html","$Bot - $GetLocationURL - $addtime <br>",FILE_APPEND);
                //echo $agent .' - ' .$Bot .' - ' . $GetLocationURL;
        }
}

有用的童鞋就拿去用吧！

ponych

太高深了。小弟表示看不懂。

abellq

這個不難吧？就是PHP初學者也能看懂的呀！

suntoltti

useless

leeyocool

自己剛寫了爬蟲程序

x9x9

啟用這個會不會降低網站反應速度？

abellq

啟用這個會不會降低網站反應速度？
x9x9 發(fā)表于 2011-09-28 13:47

    如果你的流量較大，可以不要直接輸出到文件，可以直接寫入到數(shù)據(jù)庫中!

xinglu1983

判斷是爬蟲還是自然人用戶，從而達到讓不同的來源進入不同的系統(tǒng)的目的，現(xiàn)在很多高pv網站都在使用這個方法。