天涯论坛网络爬虫学习笔记

先贴出收藏的网站：

正则抓取天涯数据    Webharvest网络爬虫应用总结     试用Web-Harvest    python实现网络爬虫下载天涯论坛帖子    多线程抓取天涯帖子内容    关于天涯论坛抓取规则问题    如何用Python，C#等语言去实现抓取静态网页+抓取动态网页+模拟登陆网站     关于抓取网页，分析网页内容，模拟登陆网站的逻辑/流程和注意事项    Python网页抓取程序(续)    天涯论坛的抓取规则    

因为之前调用API获取的字数有限制，所以只能转用其他的方式来获取，也就是网络爬虫。

因为天涯论坛可以不登录浏览，而且都是静态html，所以这样简单了很多。

我的理解是，比如你看网页源代码，会出现很多链接或者文字，有一个爬虫，将文字爬取下来，然后遇到链接就记下来作为接下来要爬取得网站。

那么怎么知道哪些是我们想要的文字，想要的链接呢？需要用到正则表达式。

继续贴链接：

正则表达式入门教程    正则表达式语法    

中途放了个假，之前学习的东西都放弃了，经同学推荐，招了开源项目（国人的）webmagic，感觉挺棒的，基本的接口都实现了。

webmagic    基本爬虫   一个例子   爬虫主体    webmagic——魔法般的爬虫框架     WebMagic-推酷     

这个看一下原函数会很好，里面也自带很多例子，多学习有好处。用webmagic实现的网络爬虫

其中碰到的一个问题就是涉及到贴子分页，因为我到现在想清楚了逻辑，但是没想清楚实现，首先进入贴子列表页，记下每篇帖子链接，然后进入一个帖子的详情页，还要进行翻页，这样递归遍历，我没找到例子看了看文档，还是没有完全实现。

关于爬虫实现分页的一些思考    学习webmagic     WebMagic

突然想到楼层信息可以参考百度贴吧和豆瓣小组的爬取方式，所以搜索了一下，找到了这个：用webmagic实现的贴吧网络爬虫