Django2.0中,robots.txt和sitemap.xml的配置。网站内容少,爬虫是不会积极去爬取的。为了让新页面更快的被搜索引擎获得,需要添加robots.txt规则文件,以及网站地图sitemap.xml。网上有很多django添加sitemap的教程,在实际测试的时候,遇到很多坑。在这里记录一下2.0版本具体的配置方法。
在“Django实用攻略(三)”中,介绍了sitemap的配置。但这只能生成标准的sitemap.xml,适合google的收录。经过几次尝试,找到了自定义sitemap的方法。本文对自定义sitemap的方法,以及对django的新认知,进行介绍。