• Tag：robots

  • Django实用攻略（三）robots.txt及sitemap.xml配置方法

    Django2.0中，robots.txt和sitemap.xml的配置。网站内容少，爬虫是不会积极去爬取的。为了让新页面更快的被搜索引擎获得，需要添加robots.txt规则文件，以及网站地图sitemap.xml。网上有很多django添加sitemap的教程，在实际测试的时候，遇到很多坑。在这里记录一下2.0版本具体的配置方法。

    NewImaging