目前百度图片搜索也使用了与百度网页搜索相同的spider,如果想禁止Baiduspider抓取网站上所有图片、禁止或允许Baiduspider抓取网站上的某种特定格式的图片文件可以通过设置robots实现:
禁止Baiduspider抓取网站上所有图片
仅允许抓取网页,禁止抓取任何图片。
User-agent: Baiduspider Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.gif$ Disallow: /*.png$ Disallow: /*.bmp$
仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片,不允许抓取其他格式图片
User-agent: Baiduspider Allow: /*.gif$ Disallow: /*.jpg$ Disallow: /*.jpeg$ Disallow: /*.png$ Disallow: /*.bmp$
仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider Disallow: /*.jpg$
附各大蜘蛛名字:
百度蜘蛛:baiduspider
搜狗蜘蛛:sogou spider
360搜蜘蛛:360spider
google蜘蛛:googlebot
yahoo蜘蛛:slurp
bing蜘蛛:bingbot
评论已关闭