Générer un robot.txt automatiquement avec Hugo
Pour générer automatiquement un robots.txt sous Hugo, il suffit d’ajouter dans le fichier de configuration config.toml
enableRobotsTXT = true
Par défaut, Hugo va générer un fichier très basique :
User-agent: *
Personnaliser le fichier
Vous pouvez personnaliser le template de base, par exemple pour indiquer aux différents moteurs de recherche où se situe notre fichier sitemap.xml.
Il faut donc créer un fichier robots.txt dans le dossier /layout/ de votre site avec le code suivant :
User-agent: *
Allow: /
Sitemap: {{ "sitemap.xml" | absLangURL }}
Sources :