1、InfoMall万维网信息博物馆v中国万维网历史信息的存储和展示系统 v维护2001年以来从中国万维网上搜集的近12亿篇网页（约20TeraByte）v以每月1000万的速度增长 现有服务及问题v目前提供三种服务根据URL检索历史网页 提供人工整理的历史事件专题回放 免费提供网页和日志数据v局限访问途径单一（只能通过URL）整理历史事件专题需要大量的人工工作 只能获得某个时间段搜集的全部网页，且免费数据的获取需要很多人工维护工作InfoMall数据检索服务v目的整合现有服务通过统一的数据访问接口，提供更加丰富，更加自动和便利的数据服务vInfoMall数据检索服务提供以InfoMall历史网页
2、文档为核心数据，以内容、空间、时间为查询纬度的，面向高层应用的客户服务器体系结构的数据检索服务。“三维”的数据模型检索服务原语vAugmented BNF 语法定义（部分摘录如下）=“select”“from”“where”1*“max”=/v例子select Web-pages from http:/:1234 where content contains 民主 time between 1997-02 to 2005-02 location at GEO:150000 location at URL:*”系统组成全文检索系统索引构建流程v（1）从文档源取得文档v（2）对文档进行分词得到三元
3、组v（3）查看词典，把新出现的索引词合并到词典中，得到v（4）当三元组的数量恰好填满内存时，对整个三元组集合执行快速排序v（5）使用“游程编码”处理递增排序的三元组，然后编码压缩，输出到临时顺串文件（run file）v（6）对所有顺串文件执行多路归并，结果输出为最终索引文件v（7）将最终得到的词典存入文件索引压缩v目的减少索引数据空间提高索引构建的速度v方法第一步，游程编码，也就是把递增整数序列变换为差分序列（原来相邻整数之间的增量序列）第二步，采用某种编码方法对整数进行编码编码方法v统计方法哈夫曼编码（Huffman coding）算术编码（arithmetic coding）特定分布的ad-hoc编码vUnary Code(Prx=2-x)vDelta Code vGolomb Code v字典方法Ziv-Lempel编码 1 2 log 1loglog21Pr 22logxxxxx 1Pr 1xxpp实验结果本文贡献v设计了一个服务：如何利用宝贵的历史网页数据提供公共信息服务以充分发挥信息作为研究工作基础设施的作用 v设计和实现了全文索引系统：重点讨论了利用压缩技术减少全文索引的倒排文件索引的大小，为海量历史网页数据的检索服务提供现实可行的基础设施保障 谢谢！
