什么是robots文件

Robots是站点与spider沟通的重要渠道，站点通过robots文件声明本网站中不想被搜索引擎收录的部分或者指定搜索引擎只收录特定的部分。

9月11日，百度搜索robots全新升级。升级后robots将优化对网站视频URL收录抓取情况。仅当您的网站包含不希望被视频搜索引擎收录的内容时，才需要使用robots.txt文件。如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。

如您的网站未设置robots协议，百度搜索对网站视频URL的收录将包含视频播放页URL，及页面中的视频文件、视频周边文本等信息，搜索对已收录的短视频资源将对用户呈现为视频极速体验页。此外，综艺影视类长视频，搜索引擎仅收录页面URL。

[芜湖网站建设]-robots.txt文件用法举例

网站误封Robots该如何处理robots文件是搜索生态中很重要的一个环节，同时也是一个很细节的环节。很多站长同学在网站运营过程中，很容易忽视robots文件的存在，进行错误覆盖或者全部封禁robots，造成不必要损失！

【处理方式】

1.修改Robots封禁为允许，然后到百度站长后台检测并更新Robots。

2.在百度站长后台抓取检测，此时显示抓取失败，没关系，多点击抓取几次，触发蜘蛛抓取站点。

3.在百度站长后台抓取频次，申请抓取频次上调。

4.百度反馈中心，反馈是因为误操作导致了这种情况的发生。

5.百度站长后台链接提交处，设置数据主动推送（实时）。

6.更新sitemap网站地图，重新提交百度，每天手工提交一次。

以上处理完，接下来就是等待了，万幸，2天的时间数据开始慢慢回升，到第3天基本回升到正常状态！