通过网站后台，点配置–》开发者选项–》自定义文件–》添加，即可进行设置
常见的几种规则写法
1.允许访问，允许访问其实不需要设置规则，没有规则就是默认欢迎所有搜索引擎
User-agent: *
Allow:
2.禁止所有SE收录本站：
User-agent: *
Disallow: /
3.禁止Google收录本站：
User-agent: googlebot
Disallow: /
4.禁止某个目录被收录：
User-agent:*
Disallow: /cgi-bin/
SHOPYY用户如何通过后台设置搜索引擎爬虫规则？
