分享好友 最新资讯首页 最新资讯分类 切换频道
网站不收录的原因及解决方法(案例排查)
2024-11-07 23:04

网站长时间不收录怎么办?针对页面不收录有什么解决办法吗?不少SEO从业者都遇到过类似问题,今天给大家讨论一下页面不收录的原因和解决方案。

网站不收录的原因及解决方法(案例排查)

今天一位SEO朋友来问客户的网站收录的问题,经分析才发现苦苦优化经了一个月的网站竟然是“屏蔽状态”的,罪魁祸首就是网站添加了错误的robots协议规则“”

懂SEO的人都知道robots是蜘蛛程序来抓取网站首先要访问的一个协议文件,Disallow不允许限止的意思; “/”的意思就是限止抓取网站所有页面目录。当网站搭建完成上线时就一定要检查robots.txt里面是否删除了限止抓取规则。

每个网站都需要制定适合网站本身的robots规则,正确的robots规则可以提升spider抓取的效率,告诉spider蜘蛛程序哪些页面路径允许抓取那些页面不允许抓取,对于搜索引擎来说是有利的。这是robots文件的具体用法,可参见:https://ziyuan.baidu.com/college/courseinfo?id=267&page=13#h2_article_title30

第一时间删除robots里面的Disallow: / 根据网站程序结构撰写适合的robots,比如屏蔽抓取404错误页面,后台登录页面和涉及到用户安全数据隐私等信息,都可以采用规则来屏蔽spider的抓取。

其次,为网站合成全站sitemap地图,比如sitemap.xml 上传到网站根目录中,添加至网站的robots.txt中,比如sitemap:https://www.ainiseo.com/sitemap.xml

这样,当spider蜘蛛再次来访问robots时就可以快捷的识别出网站的所有url地址。

最后,在百度站长平台工具中-普通收录-提交sitemap地图https://ziyuan.baidu.com/linksubmit/index?以便于百度搜索引擎蜘蛛最快的发现并抓取到地图,从而实现页面的快速收录。

当然,网站不收录的原因也有很多,具体网站具体分析,逐一排查都可以解决。

最新文章
8种SEO优化技巧超级蜘蛛查
创作高质量的内容时,要确保信息的原创性与实用性,避免复制粘贴他人内容。在内容中融入适当的关键词,并注重内容的结构和排版,
Airtest-Selenium实操小课:爬取新榜数据
1. 前言 最近看到群里很多小伙伴都在用Airtest-Selenium做一些web自动化的尝试,正好趁此机会,我们也出几个关于web
#### 文案生成器免费版:无需投资即可享受智能服务
在数字时代,内容创作已成为多人的日常工作之一。无论是社交媒体运营、广告文案撰写,还是网络小说创作,高效地产出优质内容都是
再看快速排序(QuickSort)
      快速排序是一个十分伟大的算法,作为再一次的学习,写一写快排以及和快排相关的问题。 1.基本的快速排序方
阿里伴侣配合阿里巴巴打造全方位线上推广
在当今竞争激烈的电商时代,企业的线上推广至关重要。阿里巴巴作为全球知名的电商平台,为众多企业提供了广阔的发展空间。而阿里
Python大数据分析&人工智能教程 - Scrapy工作原理详解与实操案例
Scrapy是一个开源的、用Python编写的高性能网络爬虫框架,用于抓取网站数据和提取结构性数据。它是基于Twisted异步网络框架构建
AI智能写作助手:一站式解决内容创作、文章润色与高效写作的全面工具
在信息爆炸的时代内容创作已经成为企业、媒体和个人展现自我、传递价值的不可或缺手。面对海量的信息与日益增强的内容品质需求高
你的站点抗压么?推荐一款超方便的开源压测工具
这里是 HelloGitHub 推出的《讲解开源项目》系列,本期介绍一款标星 17.7k 纯 Go 语言实现的 HTTP(S) 压测工具——vegetaVegeta
【系统架构设计】计算机网络
OSI/RM 结构模型 1977年,国际标准化组织为适应网络标准化发展的需求,制定了开放系统互联参考模型(Open System Interconnectio
全世界规模最大战争排名,第一名居然是清朝时期!
自打人类走上进化这条路,就想着法儿想要证明【一伙人就该被另一伙人支配】。古罗马角斗士时代一方有多大势力,就看他有多少人的