[C#]网络扒虫

这个其实不能算是完全意义上的网络扒虫，只是对某个社交网络进行扒取，然后得到邻接矩阵，以及相应的头像等信息。

 

 

 

主要的步骤：

1，扒取信息

2，正则匹配

 

 

正则表达式主要参考了：http://deerchao.net/tutorials/regex/regex.htm

 

扒取信息中用的是 WebClient这个方法相对HttpRequest的HttpResponse更简洁一些。

 

难点是克服网站的认证机制，用的是保存Cookies的方法。

 

扒虫部分代码：

using System;

using System.Net;

using System.Text;

using System.Text.RegularExpressions;

 

public class Crawler

{

    public static string GetCont(string url)//扒取页面

    {

        string cookies = "_r01_=; depovince=BJ; p=; ap=; t=; societyguester=55a777838c4286ab5f657382dbd25c736; id=; xnsid=";

        WebClient WebC = new WebClient();

        WebC.Headers.Add("Cookie", cookies);

        byte[] WebPa = WebC.DownloadData(url);

        string PageHtml = Encoding.UTF8.GetString(WebPa);

        return PageHtml;

    }

    public static void GetImag(string ImgUrl,string UserName)//下载小图片

    { 

        string imageFileName;

        string imageFilePath;

        WebClient myClient = new WebClient();

        Regex regex = new Regex("//w*");

        MatchCollection UsNameMatches = regex.Matches(UserName);

        imageFileName = UsNameMatches[0].Value.ToString() + ".jpg";

        imageFilePath = @"D:/picture/" + imageFileName;

        try

        {

            myClient.DownloadFile(ImgUrl, imageFilePath);

        }

        catch

        {

        }

    }

}

 

//正则表达式部分

using System.Text;

using System.Text.RegularExpressions;

 

public class MyRegex

{

    public static string[] GetAddr(string PageHtml)

    {

        string[] PageUrl=new string[24];

        Regex regex = new Regex("http://www..com/profile.do//?portal=//w*&id=//d+(?=/"//stitle=)");

        MatchCollection urlMatches = regex.Matches(PageHtml);

 

        for(int i=0;i<urlMatches.Count;i++)

        {

            PageUrl[i]=urlMatches[i].Value.ToString();

        }

        return PageUrl;

    }

    public static string[] GetImgAddr(string PageHtml)

    {

        string[] ImgAddr = new string[24];

        Regex regex = new Regex("(?<=stats=/"pf_friend/"//ssrc//=/").*(?=/"//swidth=/"50/"//s/>)");

        MatchCollection ImgMatches = regex.Matches(PageHtml);

        for(int i=0;i<ImgMatches.Count;i++)

        {

            ImgAddr[i] = ImgMatches[i].Value.ToString();

        }

        return ImgAddr;

    }

    public static string[] GetUsName(string PageHtml)

    {

        string[] UsName = new string[24];

        Regex regex = new Regex("(?<=title=/"查看).*(?=的个人主页/">//W<img//sstats=/"pf_friend/")");

        MatchCollection UsNameMatches = regex.Matches(PageHtml);

        for (int i = 0; i < UsNameMatches.Count; i++)

        {

            UsName[i] = UsNameMatches[i].Value.ToString();

        }

        return UsName;

    }

}