UVa1597 Searching the Web

1  题目理解

       刘老师对这题的介绍是这样的：

       看到该题，最容易想到的方法，就是对于每次请求，都去搜索1500行文档的信息。但是这样效率过低，会超过3秒的限制时间。故这题靠LRJ给出的题目要求还不够，还需要读英文原题，因为原题里有这道题的解题思路。以下是我对前四段话的翻译（本人英语四级未过，不对翻译质量负责~~）：

“搜索引擎（search engine）”这个名词可能对你来说并不陌生。一般来说，它能在互联网的有效(available)网页(pages)上，提取和组织出信息，并反馈(respond)与用户的问题(queries)关联性(relevant)最大的网页。像全球知名的搜索引擎GOOGLE，是我们上网时重要的工具。如下面这段会话，已成为我们日常生活的一部分：

“像这个词语******是什么意思？”
“额...我也不清楚，谷歌一下吧。”

在这道题中，你需要开发一个小搜索引擎。听起来不可思议，不是吗？不用担心，这里会有向导，来一步步教你如何高效地(efficiently)组织(organize)收集（collection）到的大量文本(texts),对一系列的问题作出快速的回应。你不用关心网页(web page)小程序，所有的网页都会以纯文本(text format)作为输入数据(input data)。而且，提供给你系统的问题集一定是合法(validate)的。

现代搜索引擎使用了一种叫“反向(inversion)”的技术来处理大量的文档。这个方法依赖于一种数据结构(data structure)的构造(construction)方式，叫做反向指针(index)，就是标记每个项(term，或者说word)在哪些文档出现过。所有的项组成的集合称为词表（vocabulary），用V来表示(denoted as V)。简单的说，反向指针就是搜索的关键词ω，ω∈V。与其相关的数值是一个指针b(ω)，指向一个作为中介(intermediate)的新增数据结构，叫“桶(bucket)”。桶本质(essentially)上就是一个指针列表，标记出所有出现过的文本集。桶的每个条目(entry)就是文档位置信息(document identifier,DID)，包含了顺序编号(ordinal number)的某个文档及出现在第几行。

       最关键的是上面的最后一段话，我也是艰难的翻译到这里后，瞬间明白题意了，后面的文章只是举例介绍而已。最后要注意，输入的多篇文档，行数总和不会超过1500行。我一开始以为是每篇文档不会超过1500行，把这题做的太难了，还悲剧的RE。

       好吧，上面其实都是废话，这一句也是~~~下面步入主题。

2  基本框架

       如果读者想看明白我的解法，建议这里的讲解和代码要配合看。

       （我这里说的文档，就是LRJ说的“文章”的意思）

       既然总行数少，那么重点应该是放在行操作上。但文档的编号还是对解题有影响的，首先程序输出中，每隔一个文档，要输出10个'-'；其次对“NOT”，"AND”也有比较大的算法干扰。不过有办法克服的，相信这个思路是的对的，故我先定义一个基本的数据类型typedef bool Bit[1505]。然后定义一个叫Index的map<string, Bit>，以文档中出现的每一个单词为key，对应的值为Bit，Bit[i]=1表示这个单词在i行有出现，否则就是没出现。

       同时，定义变量n为文章总数，lines是文档总行数，m是请求总数。用string doc[1505]来存储每行对应的原始内容。所有的编号都是从0开始。

       关于文章编号的处理，定义int limit[105]，limit[i]表示第i篇文档是第几行开始的，有了limit，就能在整个程序中的区分哪些行是哪些文档的，方便对特定文档进行遍历操作。因为整个程序中包含许多这样的操作：将编号为i的文档，遍历其所有的行j，故我把这个for循环写成一个宏定义，简化代码：#define FOR for (int j = limit[i]; j < limit[i + 1]; j++)。

3  解题思路

       分两个大环节，第一个section是：对输入文档信息的初始化操作，包括Index的构建。第二个section是：对每一个请求，给出相应的输出内容。

       第一个环节中，计算出lines，limit都不难。主要是Index的构建：对输入的每行信息（如第p行），要找出里面包含的所有单词，将该单词对应的Bit的第p位记为true（注意Bit建立时每位会自动初始化为false）。这里封装一个函数upDate(string s, int p)来辅助操作，它能将s中的单词对应的Bit的第p位记为true。

       第二个环节中，我引入一个中介变量，Bit mark，mark[j]表示第j行是否需要输出。分两个小节来处理第二环节，第一个subsection得到四种命令中的某种，只需要负责计算出对应的mark，由第二个subsection来负责mark的输出操作。因为这题的输出格式不太容易控制，每输出一个文档要输出一个结束标志，如果对四种命令都写输出语句，会造成很多不必要的重复和代码量过大。

       那么第一个subsection中，如何处理四种命令呢？假设输出的第一个单词对应的Bit是A，第二个单词对应的Bit是B(不一定存在)。那么对于单个单词的查询，mark其实就是A。对于OR操作，只要A与B直接每位进行或操作，就能得到mark，即mark[j] = (A[j]||B[j])。对于NOT操作（比较麻烦），需要使用到前面提到的宏FOR，对每个文档的行进行遍历，如果A[j]的值都是false，代表这篇文章要全部输出，故对应的这块mark[j]都等于true，否则，这块mark[j]都等于false。对于AND操作（最难的一种），也需要对每块单独进行处理，如果这块A和B都有ture的值，代表这篇文档两个单词都有出现，那么这块mark按“OR”同样的方法进行局部赋值，否则这块mark全部等于false。

       讲了这么多，其实我的方法也不是最优的，AC这题用了0.8秒，有个大牛用了0.08秒不知道怎么解的。所以我的方法能不能理解其实关系不大，更重要的是自己思考。我写这么多只是想让以后的自己能看懂~~~

4  求解代码

       这是VJ里AC该题的完整代码：http://vjudge.net/vjudge/problem/viewSource.action?id=2787670，包括了点调试代码。

       然后在博客这边贴一份精简版：

//{头文件模板#include <algorithm>#include <bitset>#include <cassert>#include <cmath>#include <cstdio>#include <cstdlib>#include <cstring>#include <functional>#include <iomanip>#include <iostream>#include <list>#include <map>#include <queue>#include <set>#include <sstream>#include <stack>#include <string>#include <vector>using namespace std;//}头文件模板#define rep(i,b) for(int i=0; i<(b); i++)#define foreach(i,a) for(__typeof((a).begin()) i=a.begin(); i!=(a).end(); ++i)#define FOR for (int j = limit[i]; j < limit[i + 1]; j++)typedef bool Bit[1505];int n, lines, m;          // n文档数, lines行数, m请求数int limit[105];           // limit[i]: 第i篇文档从第几行开始string doc[1505];         // 存储内容map<string, Bit> Index;   // Index[单词]: B标记了哪些行出现过// 用s来更新Indexvoid upDate(string s, int p) {    string word;    foreach(it, s) {        if (isalpha(*it)) *it = tolower(*it); // 变小写        else *it = ' '; // 非字母变空白    }    stringstream ss(s);    while (ss >> word) Index[word][p] = true;}int main() {    //{section: 文档数据输入    scanf("%d ", &n);    rep(i, n) {        limit[i] = lines;        while (getline(cin, doc[lines]), doc[lines] != "**********") {            upDate(doc[lines], lines);            lines++;        }    }    limit[n] = lines;//}    //{section: 对获取的请求输出对应的内容    string  s;                      // s存储每次得到的请求    Bit     mark;                   //{记录哪些行应该输出                                    //}mark的解释: 因为每篇文档要用10个'-'隔开,比较麻烦,最后统一处理    bool    *A, *B;    scanf("%d ", &m);    for (int iii = 0; iii < m; iii++) {        getline(cin, s);        //{subsection: 计算出mark中介        if (s[0] == 'N') {            A = Index[s.substr(4)];            rep(i, n) {                bool logo = true;                FOR if (A[j]) { logo = false; break; }                FOR mark[j] = logo;            }        } else if (s.find("AND") != string::npos) {            int p = s.find(" AND ");            A = Index[s.substr(0, p)];            B = Index[s.substr(p + 5)];            memset(mark, 0, sizeof(mark));            bool hasA, hasB;    // 在同一文章中, 两个词是否都出现            rep(i ,n) {                hasA = hasB = false;    // 默认没出现                FOR if (A[j]) { hasA = true; break; }                FOR if (B[j]) { hasB = true; break; }                if (!(hasA&&hasB)) continue;                FOR mark[j] = (A[j] || B[j]);            }        } else if (s.find("OR") != string::npos) {            int p = s.find(" OR ");            A = Index[s.substr(0, p)];            B = Index[s.substr(p + 4)];            rep(i, lines) mark[i] = (A[i] || B[i]);        } else memcpy(mark, Index[s], sizeof(mark));//}        //{subsection: 输出mark        bool hasOut = false, needOut = false;    // 记录上一轮是否有输出文档        rep(i, n) {            if (hasOut) needOut = true;            hasOut = false;            FOR if (mark[j]) {                if (needOut) {                    cout << "----------\n";                    needOut = false;                }                cout << doc[j] << "\n";                hasOut = true;            }        }        if (!(needOut||hasOut)) cout << "Sorry, I found nothing.\n";        cout << "==========\n";//}    }//}    return 0;}