1、SEO SEO 教程：搜索引擎优化教程：搜索引擎优化基础实战入门基础实战入门第第1 1章章 搜索引擎简述搜索引擎简述本章导读本章导读p 本章主要讲解了搜索引擎的种类和本章主要讲解了搜索引擎的种类和搜索引擎的工作原理搜索引擎的工作原理p 通过本章学习，读者对搜索引擎的通过本章学习，读者对搜索引擎的工作流程将有一个大概的了解工作流程将有一个大概的了解学习目标学习目标p 了解搜索引擎了解搜索引擎p 掌握搜索引擎工作流程掌握搜索引擎工作流程p 掌握百度特效搜索掌握百度特效搜索技能要点技能要点p 掌握搜索引擎工作流程掌握搜索引擎工作流程p 如何吸引搜索引擎蜘蛛来抓取页面如何吸引搜索引擎蜘蛛来抓取页面p
2、掌握搜索引擎的抓取顺序掌握搜索引擎的抓取顺序实训任务实训任务p 模拟百度蜘蛛抓取页面提取文字模拟百度蜘蛛抓取页面提取文字p 测试百度特效搜索测试百度特效搜索效果欣赏效果欣赏 1.1 1.1 了解搜索引擎了解搜索引擎 1.1.1 1.1.1 搜索引擎定义搜索引擎定义搜索引擎（搜索引擎（Search EngineSearch Engine）是指根据一定的策略、）是指根据一定的策略、运用特定的计算机程序从互联网上搜集信息，在对信息运用特定的计算机程序从互联网上搜集信息，在对信息进行组织和处理后，为用户提供检索服务，将用户检索进行组织和处理后，为用户提供检索服务，将用户检索相关的信息展示给用户的系统。
3、相关的信息展示给用户的系统。1.1.2 1.1.2 搜索引擎的种类搜索引擎的种类 1 1国内搜索引擎市场份额国内搜索引擎市场份额如图如图 1-1 1-1 所示，图中为大家展示的是所示，图中为大家展示的是 2017 2017 年年 6 6 月国内主要搜索引擎的市场份额，其中：月国内主要搜索引擎的市场份额，其中：u百度国内市场份额为百度国内市场份额为 80.50%80.50%，排名第一（即最大），排名第一（即最大）；u360 360 搜索排名第二，市场份额为搜索排名第二，市场份额为 8.83%8.83%；u神马排名第三，市场份额为神马排名第三，市场份额为 4.82%4.82%；u搜狗搜索排名第四，
4、市场份额为搜狗搜索排名第四，市场份额为 2.50%2.50%；uGoogle Google 排名第五，市场份额为排名第五，市场份额为 1.70%1.70%；u必应排名第六，市场份额为必应排名第六，市场份额为 1.11%1.11%；图图1-1 1-1 中的大部分搜索引擎大家都应该有所了中的大部分搜索引擎大家都应该有所了解，这里重点讲解一下神马搜索。神马搜索是手机解，这里重点讲解一下神马搜索。神马搜索是手机端端UC UC 浏览器默认的搜索引擎，是浏览器默认的搜索引擎，是 UCUC（优视）公司（优视）公司和阿里巴巴集团在和阿里巴巴集团在 2013 2013 年成立合资公司推出的移年成立合资公司推出的
5、移动搜索引擎。动搜索引擎。图图 1-1 2017 1-1 2017 年年 6 6 月国内主要搜索引擎的市场份额月国内主要搜索引擎的市场份额 2 2全球搜索引擎市场份额全球搜索引擎市场份额 图图1-21-2展示的是展示的是 2017 2017 年年 4 4 月全球主要搜索引擎的市月全球主要搜索引擎的市场份额，其中：场份额，其中：uGoogle Google 全球市场份额从全球市场份额从 92.34%92.34%上升至上升至 92.5%92.5%（0.16%0.16%），排名，排名第一（即最大）第一（即最大）；uBing Bing 排名第二，市场份额从排名第二，市场份额从 2.93%2.93%下降
6、至下降至 2.87%2.87%；（；（0.06%0.06%）uYahoo!Yahoo!排名第三，市场份额从排名第三，市场份额从 2.20%2.20%下降至下降至 2.01%2.01%；（；（0.19%0.19%）u百度排名第四，市场份额从百度排名第四，市场份额从 1.05%1.05%上升至上升至 1.11%1.11%；（；（0.06%0.06%）uYandexYandex 排名第五，市场份额从排名第五，市场份额从 0.73%0.73%下降至下降至 0.71%0.71%。（。（0.02%0.02%）图图 1-2 2017 1-2 2017 年年 4 4 月全球主要搜索引擎的市场份额月全球主要搜索
7、引擎的市场份额1.2 1.2 搜索引擎工作流程搜索引擎工作流程 1.2.1 1.2.1 抓取模块抓取模块1 1蜘蛛蜘蛛搜索引擎为了抓取互联网中的各种页面，必须搜索引擎为了抓取互联网中的各种页面，必须有一个有一个 24 24 小时自动抓取页面的程序，我们称这个小时自动抓取页面的程序，我们称这个程序为程序为“蜘蛛蜘蛛”，它在互联网中也被称为，它在互联网中也被称为“机器机器人人”。百度的抓取程序我们一般称为百度蜘蛛，常见的有百度的抓取程序我们一般称为百度蜘蛛，常见的有 BaiduspiderBaiduspider、BaiduspiderBaiduspider-mobile-mobile（抓取（抓取
8、wapwap）BaiduspiderBaiduspider-image-image（抓取图片）（抓取图片）BaiduspiderBaiduspider-video-video（抓取视频）（抓取视频）BaiduspiderBaiduspider-news-news（抓取新闻）（抓取新闻）。谷歌的抓取程序我们一般称为谷歌机器人，常见的谷歌的抓取程序我们一般称为谷歌机器人，常见的有有 GooglebotGooglebot、GooglebotGooglebot-Mobile-Mobile（抓取（抓取 wapwap）。360 360 的抓取程序我们一般称为的抓取程序我们一般称为 360 360 蜘蛛，常
9、见的只蜘蛛，常见的只有一个：有一个：360Spider360Spider。蜘蛛访问任何一个站点的时候都会蜘蛛访问任何一个站点的时候都会访问网站根目录中的访问网站根目录中的 robots.txt robots.txt 文文件。这个文件限制了搜索引擎蜘蛛的件。这个文件限制了搜索引擎蜘蛛的抓取范围，所有的蜘蛛都必须遵守这抓取范围，所有的蜘蛛都必须遵守这个文件中的协议。另外，我们可以从个文件中的协议。另外，我们可以从一些站点中的一些站点中的 robots.txtrobots.txt文件中查看文件中查看搜索引擎蜘蛛的最新名称。搜索引擎蜘蛛的最新名称。2 2跟踪链接（蜘蛛抓取顺序）跟踪链接（蜘蛛抓取顺序）
10、为了抓取互联网中更多的页面，搜索引擎会根为了抓取互联网中更多的页面，搜索引擎会根据网页中的链接从一个页面抓向另一个页面，就像据网页中的链接从一个页面抓向另一个页面，就像蜘蛛在蜘蛛网上爬行一样，这也就是搜索引擎蜘蛛蜘蛛在蜘蛛网上爬行一样，这也就是搜索引擎蜘蛛这个名字的由来。这个名字的由来。如图如图 1-3 1-3 所示，蜘蛛顺着一所示，蜘蛛顺着一个个 A A 页面爬行到页面爬行到 A1A1、A2A2、A3A3、A4A4，直到页面没有链接之后就会，直到页面没有链接之后就会返回返回 A A页面，然后爬行到另外一页面，然后爬行到另外一个页面；同样按照个页面；同样按照 B1B1、B2B2、B3B3、B4
11、 B4 的顺序抓取，有点类似于不撞的顺序抓取，有点类似于不撞南墙不回头的样子。这就是我们南墙不回头的样子。这就是我们说的深度优先策略。说的深度优先策略。图图 1-3 1-3 深度优先策略深度优先策略 如图如图 1-4 1-4 所示，蜘蛛从所示，蜘蛛从 A A 页面开始顺着链接爬行到页面开始顺着链接爬行到 A1A1、B1B1、C1 C1 页面，直到页面，直到 A A 页页面上的链接都爬完之后，再从面上的链接都爬完之后，再从 A1 A1 页面开始抓取下一层的链页面开始抓取下一层的链接页面，分别爬行到接页面，分别爬行到 A2A2、A3A3、A4A4这就是我们说的广度优这就是我们说的广度优先策略。先策
12、略。图图 1-4 1-4 广度优先策略广度优先策略在实际应用中，两种策略在实际应用中，两种策略通常是互相混合使用的，这样通常是互相混合使用的，这样可以抓取到互联网中更多的页可以抓取到互联网中更多的页面，特别是网站中内页深度比面，特别是网站中内页深度比较深的一些页面。较深的一些页面。3 3如何吸引蜘蛛来抓取网站中的页面如何吸引蜘蛛来抓取网站中的页面（1 1）权重越高、蜘蛛来得越频繁；）权重越高、蜘蛛来得越频繁；（2 2）更新越快，蜘蛛来得越频繁；）更新越快，蜘蛛来得越频繁；（3 3）导入链接越多，蜘蛛来得越频繁；）导入链接越多，蜘蛛来得越频繁；（4 4）与首页点击距离越小，蜘蛛收录得越快。）与首
13、页点击距离越小，蜘蛛收录得越快。网站建立初期，搜索引擎有可能是不知道咱们网站建立初期，搜索引擎有可能是不知道咱们站点的，我们需要通过以下两个方法来告诉搜索引站点的，我们需要通过以下两个方法来告诉搜索引擎。擎。（1 1）加入百度站长平台，提交网址链接并在网站布）加入百度站长平台，提交网址链接并在网站布置自动推送代码（见图置自动推送代码（见图 1-51-5）。（2 2）外部链接：我们可以在一些已经被收录的站点）外部链接：我们可以在一些已经被收录的站点中放置我们自己的站点链接以此来吸引蜘蛛访问，中放置我们自己的站点链接以此来吸引蜘蛛访问，可以发布软文也可以交换友情链接。可以发布软文也可以交换友情链接
14、。图图 1-5 1-5 百度站长平台提交网址链接百度站长平台提交网址链接4 4如何查看蜘蛛是否访问过站点如何查看蜘蛛是否访问过站点 （1 1）百度站长平台蜘蛛抓取频次工具（见图）百度站长平台蜘蛛抓取频次工具（见图 1-61-6）。工具地址：工具地址：http:/ 1-6 1-6 百度站长平台蜘蛛抓取频次工具百度站长平台蜘蛛抓取频次工具 （2 2）服务器日志。）服务器日志。如果你的服务器开启了日志功能，通过网站日如果你的服务器开启了日志功能，通过网站日志可以清楚地得知用户在什么志可以清楚地得知用户在什么 IPIP、什么时间、什么、什么时间、什么操作系统、什么浏览器、什么分辨率显示器的情况操作系统
15、、什么浏览器、什么分辨率显示器的情况下访问了你网站的哪个页面，是否访问成功（见图下访问了你网站的哪个页面，是否访问成功（见图 1-71-7）。图图 1-7 1-7 服务器日志服务器日志 1.2.2 1.2.2 过滤模块过滤模块由于互联网中存在大量的垃圾页面、复制内容由于互联网中存在大量的垃圾页面、复制内容页面和无内容页面，这些页面大大浪费了搜索引擎页面和无内容页面，这些页面大大浪费了搜索引擎的服务器资源，对用户来说也是无用的。的服务器资源，对用户来说也是无用的。所有搜索引擎为了避免这些垃圾页面占用自己所有搜索引擎为了避免这些垃圾页面占用自己的资源，同时也为了更好的用户体验，搜索引擎需的资源，同
16、时也为了更好的用户体验，搜索引擎需要将蜘蛛抓取回来的这些页面进行过滤。要将蜘蛛抓取回来的这些页面进行过滤。搜索引擎在后台通过提取文字、中文分词、去搜索引擎在后台通过提取文字、中文分词、去停止词、去除重复内容等方法过滤掉垃圾页面。其停止词、去除重复内容等方法过滤掉垃圾页面。其中的去重大家尤为留意一下，同一篇文章重复出现中的去重大家尤为留意一下，同一篇文章重复出现在不同的站点中或者同一个站点的不同网址中，搜在不同的站点中或者同一个站点的不同网址中，搜索引擎是非常讨厌这样的内容页面的，甚至会被认索引擎是非常讨厌这样的内容页面的，甚至会被认为是垃圾页面。为是垃圾页面。1.2.3 1.2.3 收录模块收
17、录模块凡是被搜索引擎认为有价值、对用户有用的页凡是被搜索引擎认为有价值、对用户有用的页面，搜索引擎会将其存储到索引数据中，我们称之面，搜索引擎会将其存储到索引数据中，我们称之为收录模块。只有被搜索引擎存储到索引数据库中为收录模块。只有被搜索引擎存储到索引数据库中的网址才有可能参加排名。的网址才有可能参加排名。1 1如何查看一个页面是否被收录如何查看一个页面是否被收录 如图如图 1-8 1-8 所示，最常见的办法将页面的网址（所示，最常见的办法将页面的网址（URLURL）放到百度搜索框中，如果出现了该页面的搜索结果，那么放到百度搜索框中，如果出现了该页面的搜索结果，那么就证明该页面已经被百度收录
18、了（其他搜索引擎同理）就证明该页面已经被百度收录了（其他搜索引擎同理）。图图 1-8 1-8 百度搜索框百度搜索框 2 2如何查看一个站点的收录量如何查看一个站点的收录量 （1 1）最准确的方法就是通过百度站长平台查询。此）最准确的方法就是通过百度站长平台查询。此种方法一般查询自己管理的站点（见图种方法一般查询自己管理的站点（见图 1-91-9）。图图 1-9 1-9 百度站长平台索引量查询百度站长平台索引量查询 （2 2）如果查询别人的站点我们可以使用类似站长工具、）如果查询别人的站点我们可以使用类似站长工具、爱站网之类的网站辅助我们查询，我们也可以通过爱站网之类的网站辅助我们查询，我们也可
19、以通过 site site 指令直接查询（见图指令直接查询（见图 1-101-10）。图图 1-10 site 1-10 site 指令查询网站收录数量指令查询网站收录数量 1.2.4 1.2.4 排序模块排序模块 对存入搜索引擎索引库的页面，通过正排索引、对存入搜索引擎索引库的页面，通过正排索引、倒排索引以及各种算法之后得到每一个页面的排名分倒排索引以及各种算法之后得到每一个页面的排名分数，根据所得分数将其进行排序，这就是我们看到的数，根据所得分数将其进行排序，这就是我们看到的最终排序结果。最终排序结果。1.3 1.3 百度特效搜索百度特效搜索所谓的百度特效搜索指的是在百度中搜索某一所谓的百
20、度特效搜索指的是在百度中搜索某一个特定的关键词，会触发相应的事件，常见的有两个特定的关键词，会触发相应的事件，常见的有两种特效，即视觉特效和声音特效。种特效，即视觉特效和声音特效。1.3.1 1.3.1 视觉特效视觉特效 1 1黑洞黑洞 我们在百度中搜索我们在百度中搜索“黑洞黑洞”时，效果如图时，效果如图 1-11 1-11 所示。所示。图图 1-11 1-11 百度中搜索百度中搜索“黑洞黑洞”效果效果 2 2翻转翻转 我们在百度中搜索我们在百度中搜索“翻转翻转”时，效果如图时，效果如图 1-12 1-12 所所示。示。图图 1-12 1-12 百度中搜索百度中搜索“翻转翻转”效果效果 1.3
21、.2 1.3.2 声音特效声音特效声音特效没有办法在本书中体现，大家可以在百声音特效没有办法在本书中体现，大家可以在百度中尝试搜索打雷、大风、布谷鸟等音效。度中尝试搜索打雷、大风、布谷鸟等音效。图图1-131-13所示为百度中搜索所示为百度中搜索“布谷鸟布谷鸟”效果，大家效果，大家在搜索结果的上方会发现一行字：欢迎体验有声的搜在搜索结果的上方会发现一行字：欢迎体验有声的搜索结果！索结果！图图 1-13 1-13 百度中搜索百度中搜索“布谷鸟布谷鸟”效果效果本章总结本章总结本章重点讲解了搜索引擎的工作原理，当读者本章重点讲解了搜索引擎的工作原理，当读者在遇到一些优化的问题时，可以从原理方面着手一在遇到一些优化的问题时，可以从原理方面着手一步一步排查原因，找到问题网站所在。比如一个新步一步排查原因，找到问题网站所在。比如一个新站，在一个月之内只收录一个首页，这是搜索引擎站，在一个月之内只收录一个首页，这是搜索引擎对新站有一个考核期，所以属于正常现象。当发现对新站有一个考核期，所以属于正常现象。当发现一个新站上线之后排名很好，几天之后排名不见了一个新站上线之后排名很好，几天之后排名不见了也不要灰心，那是百度临时权重取消造成的。也不要灰心，那是百度临时权重取消造成的。
