“robots.txt”文件包含一条或多条记录，这些记录通过空行分开（以CR、CR/NL、or NL作为结束符），每一条记录的格式如下所示：
robot.txt的文件格式
Simone
发布于 2024-09-05 11:24:23
540 阅读
Simone
发布于 2024-09-05 11:24:23
540 阅读
