robots文件生成

生成robots反爬虫协议文件🐙 robots.txt文件为业界需要遵守的规则,违反之后去爬取内容一般会按照刑法第286条判。
User-agent
(指定搜索引擎蜘蛛,例如谷歌:Googlebot,*代表匹配所有)
Disallow
(指定不允许蜘蛛爬虫的访问路由或路径)
生成结果(robots.txt文件):