网站建设讲堂

网站建设、维护、运营常识与SEO技巧

首页网站建设讲堂网站建设常识

网站建设讲堂

如何查看网站被百度抓取的情况?

发布日期: 2013-02-20 00:14:42   作者: 刘邵鹏

当您建设完成一个网站后,最初最为关心的就是如果短时间让百度等知名搜索引擎收录自己的网站。


百度抓取网页的程序叫做百度搜索蜘蛛(Baiduspider),查看网站是否被百度抓取的办法主要是分析网站日志里百度蜘蛛Baiduspider的活跃性:抓取频率一级返回的HTTP状态码。


网站日志的查看方式:


通过FTP客户端连接打开您的网站所在的空间,一般在网站根目录下会有一个log文件,这就是您网站的日志记录,记录了您的网站被访问的情况。


因为各个服务器和空间提供商主机的情况不同,有的空间不提供日志功能。


日志内容如下所示:


102.11.16.250 - - [11/Jan/2013:01:01:45 +0800] "GET /bbs/thread-7363-1-1.html HTTP/1.1" 200 8470 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)"


分析:


GET /bbs/thread-7360-1-1.html 代表,抓取/bbs/thread-7303-1-1.html 这个页面。


200 代表成功抓取。


8470 代表抓取了8470个字节。


很多日志里可以看到 200 0 0和200 0 64 则都代表正常抓取。


抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。


在网站出现问题的情况下,通过查看网站日志,查看网站的HTTP返回值是否正常。


-------------------------------------------------------------------------------------------------------------
作者:刘邵鹏@吉林省力日信息技术有限公司
网站建设、网站策划、网站设计、网站优化、百度排名请选择力日网络。
力日网络为您建设最实用、高效的精品网站。

上一篇:SEO入门知识...   下一篇:关键词优化之关键...