PHP的cURL库简单和有效地去抓网页

使用PHP的cURL库可以简单和有效地去抓网页。你只需要运行一个脚本，然后分析一下你所抓取的网页，然后就可以以程序的方式得到你想要的数据了。无论是你想从从一个链接上取部分数据，或是取一个XML文件并把其导入数据库，那怕就是简单的获取网页内容，cURL 是一个功能强大的PHP库。

PHP中的CURL函数库（Client URL Library Function）

curl_close — 关闭一个curl会话
curl_copy_handle — 拷贝一个curl连接资源的所有内容和参数
curl_errno — 返回一个包含当前会话错误信息的数字编号
curl_error — 返回一个包含当前会话错误信息的字符串
curl_exec — 执行一个curl会话
curl_getinfo — 获取一个curl连接资源句柄的信息
curl_init — 初始化一个curl会话
curl_multi_add_handle — 向curl批处理会话中添加单独的curl句柄资源
curl_multi_close — 关闭一个批处理句柄资源
curl_multi_exec — 解析一个curl批处理句柄
curl_multi_getcontent — 返回获取的输出的文本流
curl_multi_info_read — 获取当前解析的curl的相关传输信息
curl_multi_init — 初始化一个curl批处理句柄资源
curl_multi_remove_handle — 移除curl批处理句柄资源中的某个句柄资源
curl_multi_select — Get all the sockets associated with the cURL extension, which can then be "selected"
curl_setopt_array — 以数组的形式为一个curl设置会话参数
curl_setopt — 为一个curl设置会话参数
curl_version — 获取curl相关的版本信息

curl_init()函数的作用初始化一个curl会话，curl_init()函数唯一的一个参数是可选的，表示一个url地址。
curl_exec()函数的作用是执行一个curl会话，唯一的参数是curl_init()函数返回的句柄。
curl_close()函数的作用是关闭一个curl会话，唯一的参数是curl_init()函数返回的句柄。

例子一: 基本例子

基本例子﹤?php
// 初始化一个 cURL 对象
$curl = curl_init();

// 设置你需要抓取的URL
curl_setopt($curl, CURLOPT_URL, 'http://www.cmx8.cn');

// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);

// 设置cURL 参数，要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);

// 运行cURL，请求网页
$data = curl_exec($curl);

// 关闭URL请求
curl_close($curl);

// 显示获得的数据
var_dump($data);

?>

例子二: POST数据

sendSMS.php，其可以接受两个表单域，一个是电话号码，一个是短信内容。

POST数据﹤?php
$phoneNumber　=　'13812345678';
$message　=　'This　message　was　generated　by　curl　and　php';
$curlPost　=　'pNUMBER='　.　urlencode($phoneNumber)　.　'&MESSAGE='　.　urlencode($message)　.　'&SUBMIT=Send';
$ch　=　curl_init();
curl_setopt($ch,　CURLOPT_URL,　'http://www.lxvoip.com/sendSMS.php');
curl_setopt($ch,　CURLOPT_HEADER,　1);
curl_setopt($ch,　CURLOPT_RETURNTRANSFER,　1);
curl_setopt($ch,　CURLOPT_POST,　1);
curl_setopt($ch,　CURLOPT_POSTFIELDS,　$curlPost);
$data　=　curl_exec();
curl_close($ch);
?﹥

例子三:使用代理服务器

例子四: 模拟登录

Curl 模拟登录 discuz 程序,适合DZ7.0,将username改成你的用户名,userpass改成你的密码就可以了.

Curl 模拟登录 discuz 程序<?php   
/**  
* Curl 模拟登录 discuz 程序  
* 尚未实现开启验证码的的论坛登录功能  
*/  
  
!extension_loaded('curl') && die('The curl extension is not loaded.');   
  
$discuz_url = 'http://www.lxvoip.com';//论坛地址   
$login_url = $discuz_url .'/logging.php?action=login';//登录页地址   
$get_url = $discuz_url .'/my.php?item=threads'; //我的帖子   
  
$post_fields = array();   
//以下两项不需要修改   
$post_fields['loginfield'] = 'username';   
$post_fields['loginsubmit'] = 'true';   
//用户名和密码，必须填写   
$post_fields['username'] = 'lxvoip';   
$post_fields['password'] = '88888888';   
//安全提问   
$post_fields['questionid'] = 0;   
$post_fields['answer'] = '';   
//@todo验证码   
$post_fields['seccodeverify'] = '';   
  
//获取表单FORMHASH   
$ch = curl_init($login_url);   
curl_setopt($ch, CURLOPT_HEADER, 0);   
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   
$contents = curl_exec($ch);   
curl_close($ch);   
preg_match('/<input/s*type="hidden"/s*name="formhash"/s*value="(.*?)"/s*//>/i', $contents, $matches);   
if(!empty($matches)) {   
    $formhash = $matches[1];   
} else {   
    die('Not found the forumhash.');   
}   
  
//POST数据，获取COOKIE   
$cookie_file = dirname(__FILE__) . '/cookie.txt';   
//$cookie_file = tempnam('/tmp');   
$ch = curl_init($login_url);   
curl_setopt($ch, CURLOPT_HEADER, 0);   
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);   
curl_setopt($ch, CURLOPT_POST, 1);   
curl_setopt($ch, CURLOPT_POSTFIELDS, $post_fields);   
curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file);   
curl_exec($ch);   
curl_close($ch);   
  
//带着上面得到的COOKIE获取需要登录后才能查看的页面内容   
$ch = curl_init($get_url);   
curl_setopt($ch, CURLOPT_HEADER, 0);   
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);   
curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file);   
$contents = curl_exec($ch);   
curl_close($ch);   
  
var_dump($contents);   
?>

　　抓取和分析一个文件是非常简单的事。这个教程将通过一个例子带领你一步一步地去实现它。让我们开
始吧！

　　首先，我首必须决定我们将抓取的URL地址。可以通过在脚本中设定或通过$QUERY_STRING传递。为了简
单起见，让我们将变量直接设在脚本中。

<?
$url = 'http://www.php.net';
?>;

　　第二步，我们抓取指定文件，并且通过file()函数将它存在一个数组里。

<?
$url = 'http://www.php.net';
$lines_array = file($url);
?>;

　　好了，现在在数组里已经有了文件了。但是，我们想分析的文本可能不全在一行里面。为了解决这个文
件，我们可以简单地将数组$lines_array转化成一个字符串。我们可以使用implode(x,y)函数来实现它。如
果在后面你想用explode(将字符串变量数组)，将x设成"|"或"!"或其它类似的分隔符可能会更好。但是出于
我们的目的，最好将x设成空格。y是另一个必要的参数，因为它是你想用implode()处理的数组。

<?
$url = 'http://www.php.net';
$lines_array = file($url);
$lines_string = implode('', $lines_array);
?>;

　　现在，抓取工作就做完了，下面该进行分析了。出于这个例子的目的，我们想得到在<head>;到</head>;
之间的所有东西。为了分析出字符串，我们还需要叫做正规表达式的东西。

<?
$url = 'http://www.php.net';
$lines_array = file($url);
$lines_string = implode('', $lines_array);
eregi("<head>;(.*)</head>;", $lines_string, $head);
?>;

　　让我们看一下代码。正如你所见，eregi()函数按下面的格式执行：

eregi("<head>;(.*)</head>;", $lines_string, $head);

　　"(.*)"表示所有东西，可以解释为，"分析在<head>;和</head>;间的所以东西"。$lines_string是我们正
在分析的字符串，$head是分析后的结果存放的数组。

　　最后，我们可以输数据。因为仅在<head>;和</head>;间存在一个实例，我们可以安全的假设数组中仅存
在着一个元素，而且就是我们想要的。让我们把它打印出来吧。

<?
$url = 'http://www.php.net';
$lines_array = file($url);
$lines_string = implode('', $lines_array);
eregi("<head>;(.*)</head>;", $lines_string, $head);
echo $head[0];
?>;

　　这就是全部的代码了。