有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？ 百度lee曾…
有时候我们建站前期忘记写robots.txt文件了，很多我们不想让搜索引擎收录的内容却被收录了，这个时候会发现好像过了很长时间我们不想让收录的页面还是处于被收录的状态，到底robots生效要多久呢？
百度lee曾在公开场合说过：不同的站点略有不同，但通常在几天内陆续生效。
其实我们可以假想下robots生效的过程：
1.蜘蛛发现robots文件修改并将信息传回
2.分析修改前后的robots文件
3.删除不允许被收录的索引数据
这个过程中肯能还会存在其他的一些步骤，然而由于每个网站蜘蛛爬的频率和网站的权重不同（网站的重要性）而导致蜘蛛发现robots更改的时间延时或者被处理的优先性不同，最终导致的结果就是robots的生效时间不同。
通过以上分析我们可以得出robots的生效时间并不是一定的，如果你的robots更改后很久都没有生效的话，可以去这里投诉：tousu.baidu.com
如今互联网发展迅速，大多数企业都不止一两个网站，那么作为SEO优化技术人员来说，当面对一个新的企业网站时应该如何去做好优化，从哪些方面去入手呢？今天就告诉大家新网站应该从哪些方面去做SEO优化？ 新网站要怎…
SEO优化现在已经成为网络营销中不可或缺的一环，可以说是每个网站的必修课程，但很多人投入了大量的时间和精力却没有达到预期的效果，SEO是一个渐进的过程，如果最初的方向是错误的，很难实现他们的预期目标，特别是…
对SEO新手来说，在进行新站点的SEO优化时，可能会遇到很多问题，而这些问题在短期内不能解决，那么，新网站如何做SEO优化？ 1、确定网站关键词 要做好网站优化，首先要确定好网站关键词。选关键词时，要选择适合网站…
SEO（Search Engine Optimization）意为搜索引擎优化，属于营销手段的其中一种。大多数的企业在做网站时，通常会遇到网站没有排名，客户搜索不到等问题，企业出现了这种营销问题，归根结底都是因为公司的SEO没有做到…
我们在做SEO的过程中，总是会思考一个问题ROI的重要性，因此对于一个相对成熟的SEO公司来讲，通常在开展业务的同时，都是希望自己的SEO项目是可控的。 但我们知道，实际上想要试图让SEO可控是相对比较困难，因此，有…
3173站长收录网