hujun_2015 发表于 2016-3-8 09:24:02

搜索页百度无法抓取

rt   robots文件设置是让百度抓取的   但百度蜘蛛无法抓取显示403   如何解决

hujun_2015 发表于 2016-3-8 09:28:24


来大神看下吧。。。。。。。。

joy 发表于 2016-3-8 10:45:31


楼主说的是不能抓取所有页面吗

zhao90 发表于 2016-3-8 12:58:22


都是哪些页面

hujun_2015 发表于 2016-3-8 13:28:46


zhao90 发表于 2016-3-8 12:58

都是哪些页面
只有搜索列表页是403

hujun_2015 发表于 2016-3-8 12:58:00


joy 发表于 2016-3-8 10:45

楼主说的是不能抓取所有页面吗
只有搜索列表页是403

hujun_2015 发表于 2016-3-8 14:40:14


大神都去撸管了？

liupt 发表于 2016-3-8 10:45:00


hujun_2015 发表于 2016-3-8 17:28

大神都去撸管了？

http://bbs.destoon.com/static/image/smiley/default/titter.gif
http://bbs.destoon.com/static/image/smiley/default/titter.gif
http://bbs.destoon.com/static/image/smiley/default/titter.gif
http://bbs.destoon.com/static/image/smiley/default/titter.gif
http://bbs.destoon.com/static/image/smiley/default/titter.gif

龙在天涯 发表于 2016-3-8 17:28:25


具体的错误提示是什么

joy 发表于 2016-3-8 18:02:08


hujun_2015 发表于 2016-3-8 14:40

只有搜索列表页是403
你看一下header里面有什么不一样 调用php文件
页: [1] 2
查看完整版本: 搜索页百度无法抓取