################################################################################## ##################### Creare's robots.txt file for WordPress ##################### ################################################################################## User-agent: * Allow: / ####################################### #### WORDPRESS DIRECTORIES & FILES #### ####################################### Disallow: /wp-admin/ ####################################### ############### SITEMAP ############### ####################################### Sitemap: http://www.tomtrouton.co.uk/sitemap_index.xml ####################################### ########### SCREAMING FROG ############ ####################################### User-agent: Screaming Frog SEO Spider Allow: / Disallow: /*.xml$ Disallow: /*.css$ Disallow: /*.js$