搜索引擎通过使用称为蜘蛛的机器人抓取网络来工作。这些网络爬虫有效地跟踪页面之间的链接以查找要添加到搜索索引的新内容。当您使用搜索引擎时，将从索引中提取相关结果并使用算法进行排名。
下面的过程专门适用于Google，但它可能与Bing等其他网络搜索引擎非常相似。还有其他类型的搜索引擎，例如Amazon、YouTube和Wikipedia，它们仅显示来自其网站的结果。
交互数据和知识图并不是谷歌用来了解页面与搜索查询相关性的唯一技术。大部分工作是使用技术来完成的，以了解查询本身背后的含义和意图，例如BERT和RankBrain。谷歌有时甚至会在幕后重写查询以提供更相关的结果。
这听起来很复杂，但是，如果您想在搜索引擎中获得更高的排名以获得更多的网站访问量，您需要对搜索引擎如何查找、索引和排名内容有基本的了解。
这就是您将在本指南中学到的内容。
章节
- 1. 搜索引擎基础
- 2. 搜索引擎如何建立索引
- 3. 搜索引擎如何对页面进行排名
- 4. 搜索引擎如何个性化搜索结果
第1章
搜索引擎基础
在我们进入技术内容之前，让我们首先确保我们了解搜索引擎实际上是什么，它们为什么存在，以及为什么这些都很重要。
什么是搜索引擎？
搜索引擎是查找与用户搜索查询匹配的 Web 内容并对其进行排名的工具。
每个搜索引擎由两个主要部分组成：
- 搜索索引。一个关于网页信息的数字图书馆。
- 搜索算法。对来自搜索索引的匹配结果进行排名的计算机程序。
流行的搜索引擎包括 Google、Bing 和 DuckDuckGo。
搜索引擎的目的是什么？
每个搜索引擎都旨在为用户提供最佳、最相关的结果。这就是他们获得或保持市场份额的方式——至少在理论上是这样。
搜索引擎是怎么赚钱的？
搜索引擎有两种类型的搜索结果：
- 来自搜索索引的有机结果。你不能付钱来这里。
- 来自广告商的付费结果。你可以付费来这里。
每次有人点击付费搜索结果时，广告商都会向搜索引擎付费。这被称为按点击付费( PPC ) 广告。
这就是为什么市场份额很重要。更多的用户意味着更多的广告点击和更多的收入。
为什么要关心搜索引擎的工作方式？
了解搜索引擎如何查找、索引和排名内容将帮助您在相关和热门关键字的自然搜索结果中对您的网站进行排名。
如果您可以在这些查询中排名靠前，您的内容将获得更多点击次数和自然流量。
哪个是最受欢迎的搜索引擎？
谷歌。它拥有92% 的市场份额。
谷歌是大多数SEO专业人士和网站所有者关心的搜索引擎，因为它有可能比任何其他搜索引擎发送更多的流量。
第2章
搜索引擎如何建立索引
大多数著名的搜索引擎，如 Google 和 Bing，其搜索索引中都有数以万亿计的页面。因此，在我们讨论排名算法之前，让我们深入研究用于构建和维护网络索引的机制。
这是基本过程，由 Google 提供：
让我们一步一步分解它：
- 网址
- 爬行
- 处理和渲染
- 索引
步骤 1. URL
一切都从一个已知的 URL 列表开始。谷歌通过各种过程发现这些，但最常见的三个是：
从反向链接
谷歌已经有一个包含数万亿网页的索引。如果有人从这些网页之一添加到您的某个网页的链接，他们可以从那里找到它。
您可以使用带有Ahrefs 网站管理员工具的网站浏览器免费查看您网站的反向链接。
- 注册一个免费的 Ahrefs 网站管理员工具帐户
- 将您的域粘贴到站点资源管理器中
- 转到反向链接 报告。
我们的爬虫是仅次于谷歌的第二活跃的爬虫，所以你应该在这里看到一个相当完整的反向链接视图。
从站点地图
站点地图列出了您网站上的所有重要页面。如果您将站点地图提交给 Google，可能会帮助他们更快地发现您的网站。
从URL提交
Google 还允许通过 Google Search Console 提交单个 URL。
步骤 2. 爬行
爬行是被称为蜘蛛的计算机机器人（例如Googlebot）访问和下载发现的页面的地方。
需要注意的是，Google 并不总是按照他们发现页面的顺序来抓取页面。
Google 会根据以下几个因素对网址进行排队以供抓取：
- URL的 PageRank
- URL多久更改一次
- 不管是不是新的
这很重要，因为这意味着搜索引擎可能会先抓取您的某些页面并将其编入索引。如果您有一个大型网站，搜索引擎可能需要一段时间才能完全抓取它。
步骤 3. 处理
处理是谷歌从抓取的页面中理解和提取关键信息的地方。谷歌之外没有人知道这个过程的每一个细节，但我们理解的重要部分是提取链接和存储内容以进行索引。
Google 必须渲染页面以完全处理它们，这是 Google 运行页面代码以了解它如何查找用户的地方。
也就是说，在渲染之前和之后会发生一些处理——如您在图中所见。
步骤 4. 索引
索引是将来自抓取页面的已处理信息添加到称为搜索索引的大型数据库中。这本质上是一个包含数万亿个网页的数字图书馆，Google 的搜索结果来自这些网页。
这是很重要的一点。当您在搜索引擎中键入查询时，您并不是直接在 Internet 上搜索匹配结果。您正在搜索搜索引擎的网页索引。如果网页不在搜索索引中，搜索引擎用户将找不到它。这就是让您的网站在 Google 和 Bing 等主要搜索引擎中编入索引如此重要的原因。
第3章
搜索引擎如何对页面进行排名
发现、抓取和索引内容只是难题的第一部分。当用户执行搜索时，搜索引擎还需要一种对匹配结果进行排名的方法。这是搜索引擎算法的工作。
每个搜索引擎都有独特的网页排名算法。但由于 Google 是迄今为止使用最广泛的搜索引擎（至少在西方世界），因此我们将在本指南的其余部分重点关注这一点。
众所周知，谷歌拥有 200 多个排名因素。
没有人知道所有这些排名因素是什么，但我们知道关键因素。
让我们讨论其中的几个。
- 反向链接
- 关联
- 新鲜
- 话题权威
- 页面速度
- 移动友好
反向链接
反向链接是谷歌最重要的排名因素之一。
谷歌搜索质量高级策略师 Andrey Lipattsev 在 2016 年的一次在线网络研讨会上证实了这一点。当被问及两个最重要的排名因素时，他的回答很简单：内容和链接。
绝对地。我可以告诉你它们[前两个排名因素]是什么。它是内容。它是指向您网站的链接。
自 1997 年 Google 推出 PageRank 以来，链接一直是 Google 的重要排名因素，PageRank 是一种根据指向网页的反向链接的数量和质量来判断网页价值的公式。
当我们分析超过 10 亿个页面时，我们发现链接到一个页面的网站数量与其从 Google 获得的自然流量之间存在明显的相关性。
然而，这并不是关于数量的全部，因为并非所有的反向链接都是平等的。具有少量高质量反向链接的页面完全有可能超过具有大量低质量反向链接的页面。
一个好的反向链接有六个关键属性。
让我们仔细看看可以说是最重要的两个：权威和相关性。
链接权限
来自权威页面和网站的反向链接通常对排名影响最大。
你如何定义权威？在SEO的背景下，权威页面和网站是那些有很多反向链接或“投票”的页面。
在 Ahrefs 中，我们有两个衡量网站和页面相对权威的指标：
- 域名评级 ( DR )：网站的相对权威，范围从 0 到 100。
- URL Rating ( UR )：页面的相对权威，范围从 0 到 100。
您可以在 Ahrefs 的站点浏览器中查看任何网站或网页的权限。
链接相关性
来自相关网站和网页的链接通常是最有价值的。
谷歌在其页面上对有用页面进行排名的上下文中谈论相关性，以了解搜索的工作原理。
如果该主题的其他著名网站链接到该页面，则表明该信息是高质量的。
如果您想知道为什么相关性很重要，请考虑一下现实世界中的事物是如何运作的。在寻找最好的意大利餐厅时，您可能会相信厨师朋友的建议，而不是兽医朋友的建议。但是，如果您正在寻找猫粮推荐，那就相反了。
关联
Google 有多种确定页面相关性的方法。
在最基本的层面上，它查找包含与搜索查询相同的关键字的页面。
但相关性远不止关键字匹配。
Google 还使用交互数据来评估搜索结果是否与查询相关。换句话说，搜索者发现该页面有用吗？
这就是为什么“苹果”的所有顶级结果都与科技公司有关，而不是水果的部分原因。谷歌从交互数据中知道，大多数搜索者正在寻找有关前者的信息，而不是后者。
不过，交互数据远非谷歌这样做的唯一方式。
谷歌投资了许多技术来帮助理解人、地点和事物等实体之间的关系。知识图谱是这些技术中的一种，它本质上是一个庞大的实体知识库以及它们之间的关系。
苹果（水果）和苹果（科技公司）都是知识图谱中的实体。
Google 使用实体之间的关系来更好地了解页面相关性。谈论橙子和香蕉的“apple”的匹配结果显然是关于水果的。但谈论 iPhone、iPad 和 iOS 的人显然是关于科技公司的。
部分归功于知识图谱，谷歌可以超越关键字匹配。
有时，您甚至可能会看到未提及查询中看似重要的关键字的搜索结果。例如，获取“apple paper app”的第二个结果，它没有在页面上的任何地方提到“apple”这个词。
谷歌可以说这是一个相关的结果，部分原因是它在知识图中提到了 iPhone 和 iPad 等实体，这些实体无疑与 Apple 密切相关。
新鲜
新鲜度是一个依赖于查询的排名因素，这意味着它对某些结果比其他结果更重要。
对于“amazon prime 上有什么新鲜事”这样的查询，新鲜度很重要，因为搜索者想了解最近添加的电影和电视节目。这可能就是 Google 将新发布或更新的搜索结果排名更高的原因。
对于“最好的耳机”这样的查询，新鲜度很重要，但不是那么重要。耳机技术发展很快，因此 2015 年的结果不会有太大用处，但 2-3 个月前发布的帖子仍然有用。
谷歌知道这一点，并显示过去几个月更新或发布的结果。
还有一些查询结果的新鲜度大多无关紧要，例如“如何打平局”。几十年来，这个过程没有任何改变，所以无论搜索结果是昨天还是 1998 年都没有关系。谷歌知道这一点，并且对多年前发布的帖子排名没有任何疑虑。
话题权威
谷歌希望对具有该主题权威的网站的内容进行排名。这意味着 Google 可能会将www.25qi.com网站视为有关某个主题而非另一个主题的查询的良好结果来源。
谷歌在他们的一项专利中谈到了这一点：
搜索系统是否认为站点具有权威性通常取决于查询。[...] 搜索系统可以将疾病控制中心的站点“cdc.gov”视为查询“ CDC蚊子停止叮咬”的权威站点，但可能不会将同一站点视为权威站点查询“餐厅推荐”。
尽管这只是 Google 申请的众多专利之一，但我们看到证据表明“主题权威”在许多查询的搜索结果中很重要。
只需查看“真空低温真空封口机”的结果。
在这里，我们看到了两个关于真空低温烹调法的小利基网站，其排名超过了《纽约时报》。
尽管这里无疑还有其他因素在起作用，但“话题权威”似乎是这些网站排名靠前的原因之一。
这可能就是为什么 Google 的SEO入门指南告诉网站所有者：
在特定领域培养专业知识和值得信赖的声誉。
页面速度
没有人喜欢等待页面加载，谷歌知道这一点。这就是为什么他们将页面速度作为2010 年桌面搜索和2018 年移动搜索的排名因素。
许多人对页面速度感到困惑，因此值得注意的是，您的页面不需要闪电般快速排名。谷歌表示，页面速度只是“为用户提供最慢体验”的页面的问题。
换句话说，将一个已经很快的网站缩短几毫秒不太可能提高排名。它只需要足够快，不会对用户产生负面影响。
您可以在PageSpeed Insights 中检查任何网页的速度，它还会生成使页面更快的建议。
PageSpeed Insights 还显示您的页面在Core Web Vitals 方面的表现。
Core Web Vitals 由三个衡量网页加载性能、交互性和视觉稳定性的指标组成。谷歌已确认，截至 2021 年 6 月，Core Web Vitals 将成为排名信号。
您可以使用 Google Search Console 中的 Core Web Vitals 报告查看您网站上所有页面的性能。
如果许多 URL 表现不佳或需要改进，请与开发人员联系。
移动友好
65% 的 Google搜索发生在移动设备上。这就是为什么自 2015 年以来移动友好性一直是移动设备的一个因素。
自 2019 年以来，由于谷歌转向移动优先索引，移动友好性也是桌面搜索的排名因素。这意味着谷歌在所有设备上“主要使用移动版本的内容进行索引和排名”。
换句话说，缺乏移动友好性会影响排名——无处不在。
您可以使用 Google 的移动友好测试工具或在 Google Search Console的移动可用性报告中检查任何网页的移动友好性。
第 4 章
搜索引擎如何个性化搜索结果
搜索引擎明白不同的结果会吸引不同的人。这就是他们为每个用户定制结果的原因。
如果您曾经在多个设备或浏览器上搜索过相同的内容，那么您可能已经看到了这种个性化的效果。结果通常会根据各种因素显示在不同的位置。
正是由于这种个性化，如果您正在做SEO，您最好使用像 Ahrefs 的Rank Tracker这样的专用工具来跟踪排名位置。这些工具中报告的位置可能更接近事实，因为它们浏览网络的方式不会为搜索引擎提供很多有用的个性化信息。
搜索引擎如何个性化结果？
谷歌表示，“诸如您的位置、过去的搜索历史和搜索设置等信息都有助于 [我们] 根据当时对您最有用和最相关的内容来定制您的结果。”
让我们仔细看看这三件事。
1. 地点
如果您搜索诸如“意大利餐厅”之类的内容，则地图包中的所有结果都是当地餐厅。
谷歌这样做是因为你不太可能飞到半个地球去吃午饭。
但 Google 也会使用您的位置来个性化地图包之外的搜索结果。如果我们向下滚动搜索“意大利餐厅”，甚至 TripAdvisor 的结果也是个性化的，我们会看到许多排名靠前的结果都是来自当地餐厅的网站。
对于“买房子”这样的查询，情况类似。Google 返回带有本地列表而不是国家列表的页面，因为您可能不想搬迁到其他国家/地区。
您的位置会极大地影响本地查询的结果，因此在从两个不同位置搜索相同内容时几乎没有重叠。
2. 语言
Google 知道向西班牙用户显示英文搜索结果毫无意义。这就是为什么 Google 将Youtube SEO教程的英文版用于英语搜索，将西班牙语版用于西班牙语搜索的原因。
然而，谷歌在某种程度上依赖网站所有者来做到这一点。如果您有多种语言的页面，除非您告诉他们，否则 Google 可能不会意识到这种情况。
您可以使用名为hreflang的HTML属性执行此操作。
Hreflang 有点复杂，远远超出了本指南的范围，但基本上它是一小段代码，指示不同语言的同一页面的多个版本之间的关系。
3. 搜索历史
或许谷歌使用搜索历史来个性化结果的最明显例子是，当您下次运行相同的搜索时，它会将先前点击的结果“排名”更高。
它并不总是发生，但它似乎很常见 - 特别是如果您在短时间内多次单击或访问该页面。
让我们总结一下