##################################################
# BOTS                                           #
# Line below tells all bots they can crawl site. #
##################################################

User-agent: *

##################################################
# SITEMAP(S)                                     #
# Leave the line below for all sites,            #
# but update/confirm the sitemap's relative path.#
# The sitemap path below is Yoast's.             #
##################################################

Sitemap: /sitemap_index.xml

##################################################
# BLOCKING FILES/FOLDERS                         #
# You can ask search engines to not follow       #
# pages/files/folders by adding relative paths   #
##################################################

Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /all-post-titles/

##################################################
# AUDITING                                       #
# Lines below tells tool to ignore canonical     #
# sub-pages that should be ignored anyway.       #
##################################################

User-agent: sp_auditbot
Disallow: ^/page/(.*)