中国天气网城市代码爬取

　　想试着收集一些气象数据，记得之前气象数据共享平台可以下，结果发现需要实名认证还要提交证件照之类的，想了想，脸黑，估计认证不过，还是算了。于是又网上找了找，发现在美国noaa网站可以下载，包含中国大概700多个站点的数据，时间从50年代一直到最近，但是细看了几个站点的数据后，发现有些站点数据只到2000年初或者更早。继续搜索后想到可以用爬虫，从天气网等网站爬取一些数据，考虑到权威性，选择了中国天气网。

目标网页

　　目标网页主要是各个城市的天气页面，主要是当前天气，以及过去24小时天气，每个城市的网址为：
www.weather.com.cn/weather1d/+{城市代码}.shtml
　　因此，首先需要找到各个城市的代码，从网上搜了一些后，发现这些可能时间较早，与现在网站上数据不能一一对应，所以考虑从网页中重新爬取到城市代码，顺便可以练习一下相关爬虫技术。
　　网上搜到的爬虫案例大多基于python编写，但是个人最近刚看到一个用java爬取京东商品信息及图片的案例，因此想先用java试着爬取，个人感觉用python会显得更简洁，python代码可以很快的看到核心代码，而java，尤其是比较成熟的java代码，即使核心代码很短，却经常被包含在各种异常处理，各种线程，各种配置文件，各种分门别类里。
　　话不多说，说城市代码的获取，在研究每个城市天气页面的源码时，发现在一个select的div下，有对应城市的各个区县的代码，比如在上海闵行的页面里，可以看到上海市的各个区县（下图）的城市代码及名称。

　　再说城市代码的组成规则，前三位101代表中国，接下来的六位依次是省（自治区、直辖市、特区），地市以及区县，分别各占两位，直辖市区县最后两位都是0，真不明白为什么不直接用行政代码。

具体方法

　　用到的技术主要是发送请求的httpClient以及解析网页的Jsoup。

        <dependency>            <groupId>org.apache.httpcomponents</groupId>            <artifactId>httpclient</artifactId>            <version>${version}</version>        </dependency>        <dependency>            <groupId>org.jsoup</groupId>            <artifactId>jsoup</artifactId>            <version>${version}</version>        </dependency>

　　因为不清楚具体有多少个地级市，最先想到的是循环101010100-101350000，遍历所有页面，但这样循环次数过多，因此加了一层循环，内层循环连续出现无效页面次数大于100时，跳出内层循环，外层循环加10000，也就是调到下一个省。需要注意的是，该网站无效页面返回并不是404，而是空页面，因此可以通过判断html页面字符长度来确认无效页面。

for (long j = 101010100; j< 101360000; j+=10000) {            //标记无效页面            int countInvalid = 0;            for(long i = j;i<101350000;i++) {                String url = "http://www.weather.com.cn/weather1d/" + i + ".shtml";                String html = getHtml(url);                StringBuilder sb = new StringBuilder();                if (html!=null && html.length()>20) {                    //计数归零                    countInvalid=0;                    File file = new File("D:\\temp\\" + i +".txt");                    //解析Html                    Document document = Jsoup.parse(html);                    Elements lis = document.select("#select ul").select("li");                    //System.out.println(lis.size());                    for (Element li : lis) {                        String cityCode = li.attr("tip");                        String cityName = li.text();                                        sb.append(cityCode + "\t" + cityName + "\r\n");                         }                    FileUtils.writeStringToFile(file, sb.toString() , "UTF-8");                }else {                    //连续100次出现无效页面，退出内循环                    countInvalid++;                    if(countInvalid > 100) {                        break;                    }                }                           }        }

　　用httpClient发送页面请求方法如下，用的是最基础的方法：

    ｐublic static String getHtml(String url) throws Exception {        // 创建Httpclient对象        CloseableHttpClient httpclient = HttpClients.createDefault();        // 创建http GET请求        HttpGet httpGet = new HttpGet(url);        CloseableHttpResponse response = null;        try {            // 执行请求            response = httpclient.execute(httpGet);            // 判断返回状态是否为200            if (response.getStatusLine().getStatusCode() == 200) {                String content = EntityUtils.toString(response.getEntity(), "UTF-8");                return content;            }        } finally {            if (response != null) {                response.close();            }            httpclient.close();        }        return null;    }

　　这样就得到每个区县级别对应的txt文件，接下来就是处理重复的txt文件，原本的想法是，每个地市级别（前7位代码）仅保留一个，最后将txt文件合并成一个。在实际操作中发现，遍历每个文件的每一行数据，删除掉重复项，写入一个列表里，最后将列表输出到一个txt文件，这样会快很多。最终得到3231条记录。

File[] files = new  File("D:\\temp\\weatherCitycode").listFiles();        File outFile = new File("D:\\temp\\weatherCitycode.txt");        List<String> cityList = new ArrayList<String>();        for(int idx = 0; idx<files.length;idx++) {            File curFile = files[idx];             List<String> lines = FileUtils.readLines(curFile, "UTF-8");            for(String line:lines) {                if (!cityList.contains(line)){                    cityList.add(line);                }            }        }        FileUtils.writeLines(outFile, cityList);        System.out.println(cityList.size());