"Robots" 的相关内容
去年三月，我接手了一个棘手的案子。这是一个被谷歌“打入冷宫”近6个月的网站。客户非常焦急，因为没有收录就没有流量。今天就来分享一下我拯救这个网站的全过程。1. 绝望的开始：诊断与发现接手第一天，我用5118扫描了全站，结果惨不忍睹。有一次误操作Robots.txt，把整站都Disallow了，导致一...
去年三月，我接手了一个棘手的案子。这是一个被搜狗“打入冷宫”近6个月的网站。客户非常焦急，因为没有收录就没有流量。今天就来分享一下我拯救这个网站的全过程。1. 绝望的开始：诊断与发现接手第一天，我用百度站长平台扫描了全站，结果惨不忍睹。有一次误操作Robots.txt，把整站都Disallow了，导...
从技术角度看，搜索引擎爬虫通过HTTP协议抓取网页内容。对于搜狗而言，知乎内容权重高是其算法的核心特征之一。很多站长忽略了这一点，导致收录一直上不去。1. 爬虫行为与Robots.txt配置在我优化一个大型企业站时，通过分析服务器日志（Server Logs），发现搜狗的爬虫（Spider）在抓取J...
从技术角度看，搜索引擎爬虫通过HTTP协议抓取网页内容。对于必应而言，技术类内容权重高是其算法的核心特征之一。很多站长忽略了这一点，导致收录一直上不去。1. 爬虫行为与Robots.txt配置在我优化一个大型企业站时，通过分析服务器日志（Server Logs），发现必应的爬虫（Spider）在抓取...
从技术角度看，搜索引擎爬虫通过HTTP协议抓取网页内容。对于谷歌而言，沙盒期（Sandbox）机制明显是其算法的核心特征之一。很多站长忽略了这一点，导致收录一直上不去。1. 爬虫行为与Robots.txt配置在我优化一个大型企业站时，通过分析服务器日志（Server Logs），发现谷歌的爬虫（Sp...
去年三月，我接手了一个棘手的案子。这是一个被谷歌“打入冷宫”近6个月的网站。客户非常焦急，因为没有收录就没有流量。今天就来分享一下我拯救这个网站的全过程。1. 绝望的开始：诊断与发现接手第一天，我用Google Search Console扫描了全站，结果惨不忍睹。早期做站时，为了堆砌关键词，我在F...