如何利用PHP抓取百度阅读

发布时间：2023-09-19 10:43:58 所属栏目：PHP教程来源：

导读：抓取方法如下:首先在浏览器里打开阅读页面，查看源代码后发现小说的内容并不是直接写在页面里的，也就是说小说的内容是通过异步加载而来的。

于是将chrome的开发者工具切到network一栏，刷新阅读页面，主要关注的

抓取方法如下:首先在浏览器里打开阅读页面，查看源代码后发现小说的内容并不是直接写在页面里的，也就是说小说的内容是通过异步加载而来的。

于是将chrome的开发者工具切到network一栏，刷新阅读页面，主要关注的是XHR和script两个分类下。

经过排查，发现在script分类下有个jsonp请求比较像是小说内容，请求的地址是

http://wenku.baidu.com/content/49422a3769eae009581becba?m=8ed1dedb240b11bf0731336eff95093f&type=json&cn=1&_=1&t=1423309200&callback=wenku7

返回的是一个jsonp字符串，然后我发现，如果把地址里面的callback=wenku7去掉，返回的就是一个json字符串，这样解析起来就方便不少，可以直接在php里面转换成数组。

再来分析一下返回数据的结构，返回的json字符串之后是一个树状的结构，每个节点都有一个t属性和c属性，t属性用来指明这个节点的标签，比如h2 div等等，c属性就是内容了，但也有两种可能，一个是字符串，另一个是数组，数组的每个元素都是一个节点。

这种结构最好解析了，用一个递归就搞定,最终代码如下：

<?php

classBaiduYuedu {

protected$bookId;

protected$bookToken;

protected$cookie;

protected$result;

publicfunction__construct($bookId,$bookToken,$cookie){

$this->bookId =$bookId;

$this->bookToken =$bookToken;

$this->cookie =$cookie;

}

publicstaticfunctionparseNode($node){

$str=''

if(is_string($node['c'])){

$str.=$node['c'];

}elseif(is_array($node['c'])){

foreach($node['c']as$d){

$str.= self::parseNode($d);

}

}

switch($node['t']){

case'h2':

$str.="/n/n";

break;

case'br':

case'div':

case'p':

$str.="/n";

break;

case'img':

case'span':

break;

case'obj':

$tmp='('. self::parseNode($node['data'][0]) .')'

$str.=str_replace("/n",'',$tmp);

break;

default:

trigger_error('Unkown type:'.$node['t'], E_USER_WARNING);

break;

}

return$str;

}

publicfunctionget($page= 1){

echo"getting page {$page}.../n";

$ch= curl_init();

$url= sprintf('http://wenku.baidu.com/content/%s/?m=%s&type=json&cn=%d',$this->bookId,$this->token,$page);

curl_setopt_array($ch,array(

CURLOPT_URL =>$url,

CURLOPT_RETURNTRANSFER => 1,

CURLOPT_HEADER => 0,

CURLOPT_HTTPHEADER =>array('Cookie: '.$this->cookie)

));

$ret= json_decode(curl_exec($ch), true);

curl_close($ch);

$str=''

if(!emptyempty($ret)){

$str.= self::parseNode($ret);

$str.=$this->get($page+ 1);

}

return$str;

}

publicfunctionstart(){

$this->result =$this->get();

}

publicfunctiongetResult(){

return$this->result;

}

publicfunctionsaveTo($path){

if(emptyempty($this->result)){

trigger_error('Result is empty', E_USER_ERROR);

return;

}

file_put_contents($path,$this->result);

echo"save to {$path}/n";

}

}
//Cuoxin.com
//使用示例

$yuedu=newBaiduYuedu(�a3769eae009581becba',Ǝed1dedb240b11bf0731336eff95093f','你的百度域cookie');

$yuedu->start();

$yuedu->saveTo('result.txt');
这个类前两个参数可以从小说的介绍页面获得，第一个参数bookId就是url里ebook后面跟着的字符串，第二个参数bookToken在页面源代码搜索bdjsonUrl，m参数后面的那个字符串就是。

注：如果不传入百度cookie或者百度cookie无效，则只能抓取免费阅读部分，要抓完整的内容必须保证cookie可以正常使用。

（编辑：汽车网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!