如何优化爬行预算
1。确保你的页面被抓取
你的网页抓取如果搜索引擎蜘蛛可以发现并跟踪在您的网站的链接，那么你需要设置你的.htaccess和robots.txt文件使他们不阻止你的网站的关键页面。您还可能希望提供大量依赖富媒体文件的文本版本，如Flash和Silverlight。
当然，如果您想阻止页面出现在搜索结果中，则情况正好相反。然而，这不足以把你的robots.txt”不允许，“如果你想阻止一个页面被索引。谷歌表示：“robots.txt禁止并不能保证一个页面将不会出现在结果。”
如果外部信息（如链接）继续直接流量的页面，你不允许，谷歌可能决定页面仍然是相关的。在这种情况下，你需要手动挡的页面被使用noindex robots元标记或x-robots-tag HTTP标头的索引。
noindex元标记：将以下meta标签在页面<head>部分防止大多数Web爬虫索引你的页面：
noindex”/>
x-robots-tag：将以下你的HTTP头的响应告诉爬虫不能索引页面：
x-robots-tag：noindex
注意如果你使用noindex元标记或x-robots-tag，你不应该不允许页面在robots.txt文件，网页必须爬在标签会被服从。
搞懂蜘蛛爬行路线
2。谨慎使用富媒体文件
有一次当Googlebot无法抓取内容，如JavaScript，Flash和HTML。那些时光大多是过去（尽管Googlebot仍然挣扎在Silverlight和一些其他文件）。
然而，即使谷歌可以阅读你最丰富的媒体文件，其他搜索引擎可能不会，这意味着你应该明智地使用这些文件，你可能想完全避免这些你要排名的页面。
兰州SEO培训建议你可以找到一个谷歌可以在这里索引的文件的完整列表。
3.避免重定向链
您重定向的每个URL都浪费了一点爬行预算。当你的网站有很长的重定向链，即大量的301和302行中的重定向，蜘蛛如Googlebot可能会落在他们到达你的目的地页面，这意味着不会被索引的网页。最佳实践将是拥有尽可能少的在你的网站上，并没有超过两连胜。
4。修复断开的链接
谷歌的John Mueller曾经说过，当被问到链接是否会影响网络排名时：
5。在动态URL上设置参数
蜘蛛将动态URL处理为同一页，作为单独的页面，这意味着您可能不必要地浪费了爬行预算。您可以通过访问谷歌搜索控制台并单击“抓取>搜索参数”来管理URL参数。从这里，你可以让Googlebot知道你的CMS增加参数到你的URL不会改变页面的内容
6。清理你的站点地图
XML网站地图，帮助你的用户和蜘蛛机器人一样，使你的内容更有组织和更容易找到。尽量保持你的网站更新和净化它，可能会损害您的网站的可用性的任何杂波，包括400级页面，不必要的重定向，非标准的网页，并阻止页。
清理你的网站，最简单的方法是使用一个工具一样的网站审计员（声明：我的工具）。你可以使用网站的XML网站地图生成器审计创造一个干净的网站，排除所有页面阻止索引。另外，通过去现场审核，您可以轻松地找到并修复所有的4xx状态页，301和302重定向，和非标准的网页。
7。利用饲料
feed，如RSS、XML和Atom，允许网站在不浏览网站的情况下向用户发送内容。这允许用户订阅他们喜爱的站点，并在发布新内容时定期收到更新。
而RSS一直刺激你的读者和参与的一种好方法，也是访问量最大的网站中的Googlebot。当你的网站收到更新（如新产品，博客文章，网站更新等）提交给谷歌的饲料燃烧器，这样你就可以确定它是正确的索引。
8。建立外部链接
链接建设仍然是一个热门话题，我怀疑它很快就会消失。Anna Crowe优雅地把它作为值：
“在网上培养关系，发现新社区，建立品牌价值——这些小小的胜利应该已经印在你的链接规划过程中了。虽然现在已经有了不同的链接建设元素，但人类与他人建立联系的需求永远不会改变。”
现在，除了克罗的优点，我们也从Yauhen Khutarniuk的实验中，蜘蛛访问你的网站的外部链接数量密切相关的证据接收。
9。维护内部链路完整性
而khutarniuk的实验证明，内部链接建设不在抓取速度起到实质性的作用，这并不意味着你可以忽略它完全。一个良好的网站结构使你的内容很容易被搜索引擎抓取不浪费你的预算。
一个条理分明的内部链接结构也可以提高用户体验——特别是如果用户可以在三次点击后到达网站的任何区域。使一切更容易在一般意味着游客将不再徘徊，这可能会提高你的养老金。
结论：爬行预算重要吗？
现在，你可能已经注意到一种趋势，在这篇文章中–最佳实践建议，提高你的检索往往会提高你的搜索能力以及。因此，如果你想知道是否爬行预算优化对你的网站是重要的，答案是肯定的-它可能会与你的搜索引擎优化努力携手不管。
简单地说，当你让谷歌更容易地发现并索引你的网站时，你就会享受更多的抓取，这意味着当你发布新的内容时会更快的更新。你也会提高整体的用户体验，从而提高知名度，最终导致更好的网站排名。
金城在线专注网站、软件、APP、微信公众平台、小程序、抖音、头条等开发推广，如果您有这方面的需求或者不同的观点，欢迎联系交流。
