robots文件生成

生成robots反爬虫协议文件，robots.txt文件为业界需要遵守的规则，违反之后去爬取内容一般会按照刑法第286条判。