Entity

Crawl-delay

robots.txt中的指令，用于设置爬虫每次抓取之间的最小时间间隔，单位为秒，可防止服务器负载过高。