服务咨询电话
0551-65321807
  服务咨询及项目合作
272579841@qq.com
  点击此处立即在线沟通
点击这里给我发消息[售前服务咨询]
点击这里给我发消息[售后服务咨询]
网站首页 > 禁止抓取收录机制你了解么?
来源:安徽网站优化 发布时间:2021/4/15 浏览次数:115次
  在做安徽网站优化的某些时候,站长其实并不希望某些页面被收录(或者说被索引),如复制内容页面。网站上不出现链接,或者使用JavaScript、Flash链接,使用nofollow等方法都不能保证页面一定不被收录。站长自己虽然没有链接到不想被收录的页面,其他网站上可能由于某种原因出现导入链接,导致页面被抓取和收录。
  有的时候不希望某些页面被抓取,如付费内容、还在测试阶段的网站。还有一种很常见的情况,搜索引擎抓取了大量没有意义的页面,如电子商务网站按各种条件过滤、筛选的页面,各种排版格式的页面,这些页面数量庞大,抓取过多会消耗掉搜索引擎分配给这个网站的总抓取时间,造成真正有意义的页面反倒不能被抓取和收录。如果通过检查日志文件发现这些无意义页面被反复大量抓取,想要收录的页面却根本没被抓取过,那应该直接禁止抓取无意义的页面。
  安徽网站优化小编告诉各位站长实际上抓取和收录(索引)是不同的两个过程。要确保页面不被抓取,需要使用robots文件。要确保页面不被收录,要使用Noindex Meta Robots标签。

>> 相关文章:

·网站优化分析的注意事项和技巧
·网站优化的重点在于思考网站的实用性
·安徽网站优化重点在于解决基本问题
·网站推广所存在的问题
·安徽seo优化:不太现实的期待有哪些?
·为什么网站优化前期不做难度大的词?
·优化大中型网站有哪些小技巧?
·网站优化工具的作用有哪些? ?