主体内容过长（通常网页源码长度不能超过128k），文章过长可能会引起抓取截断。

举个例子：某网站主体内容都是JS生成，针对用户访问，没有做优化；但是网站特针对爬虫抓取做了优化，直接将图片进行base64编码推送给百度，然而优化后发现内容没有被百度展示出来；页面质量很好，还特意针对爬虫做了优化，为什么内容反而无法出现在百度搜索中；

主体内容过长影响蜘蛛抓取原因如下：

1、站点优化后将主体内容放于最后，图片却放于前面；

2、网站针对爬虫爬取做的优化，是直接将图片base64编码后放到HTML中，导致页面长度过长，网站页面长度达164k；

3、爬虫抓取内容后，页面内容过长被截断，已抓取部分无法识别到主体内容，最终导致页面被认定为空短而不建索引。

阅读本文的人还可以阅读：

网站主体内容太短为什么会被判断无价值内容