避免出现在搜索中的 3 种方法

ayesharups

在进行 SEO（搜索引擎优化）时，您通常会想方设法让您的网站在搜索中可见。这是因为它应用了一个简单的公式：SEO = 最高曝光度。但在回忆这个公式之前，让我们花点时间关注一下搜索引擎优化这个词的最后一部分。“优化”这个既不是优势也不是规则的词引起了我的注意。从“最佳”一词，我们可以猜测搜索引擎优化有加法和减法两种方法。这意味着，虽然有些任务即使面对巨大的竞争也必须暴露在搜索结果第一页的顶部，但也有一些任务必须确保它们永远不会暴露在搜索结果中。今天，我将讨论在这种情况下您需要避免在搜索中暴露的情况该怎么办。

哪些页面应该设置为不公开？
在您知道如何阻止它们出现在搜索中之前，哪些页面不应出现在搜索中？任何曾经运行过网 台湾电话号码清单
站的人都会明白，事实上，并非所有页面都需要暴露给搜索。客户登录后可以访问的“我的信息”等页面就是这种情况，对吗？此外，在某些情况下，您可能希望对所有人隐藏该页面，或者在具有多个页面的列表页面的情况下仅公开一个页面。出于安全或战略原因，网站运营商可能希望避免这种暴露。

避免出现在搜索中的 3 种方法
为了避免在搜索中暴露，您可以告诉爬虫不要开门或打开门但不获取任何信息。因此，可以通过三种方法来隐藏它，以免在搜索结果中暴露。





(1)防止爬行
  防止抓取的一种方法是使用 robots.txt。这意味着访问者可以看到该页面，但爬虫却看不到。因为robots.txt是“健康”爬虫必须遵循的约定，所以坏（？）爬虫可以随时爬取它。无论如何，当搜索引擎爬虫发现robots.txt时，它不会超出按照既定规则指定的范围进行爬行。


User-agent 指的是爬虫的名称。一般来说，Google 使用名为“Googlebot”的用户代理，而 Naver 使用名为“Yeti”的用户代理。禁止标记您被告知不要访问的域、目录或子文件夹。允许表示允许的目录。换句话说，上述声明的意思是，“使用名为 Googlebot 和 Yeti 的用户代理的爬虫（搜索机器人）可以访问我们域以下的所有页面，但不能访问 /blog/ 或以下。”。（站点地图告诉爬虫 sitemap.xml 的位置。）

另一方面，如果任何人都可以访问，则使用如下所示的“*”表示“所有爬虫都可以访问该域以下的页面”。