O arquivo robots.txt é importante para o controle de motores de busca e outros robôs. Uma vez que a maioria das pessoas não sabe como fazer um, esta ferramenta irá fazer um para você.