- GSC(Google Search Console)
GSC是Google官方提供的免费工具,用来帮你监控网站和搜索引擎之间的互动情况。通过它,你可以看到网站的真实搜索数据,比如在搜索结果里出现了多少次、被点击了多少次、平均排在第几位,以及哪些关键词带来了流量。同时,它能告诉你Google收录了你的多少页面,哪些没被收录以及具体原因——是404报错、被屏蔽还是其他问题。如果网站被黑、被挂马或者因为违反规则被Google手动处罚,它会第一时间发出警报提醒你处理。另外,它是唯一能把Sitemap文件提交给Google的官方入口。一句话总结,GSC就是你网站的“体检中心加数据看板”
- Sitemap(站点地图)
Sitemap是一个XML格式的文件,里面列出了你网站所有页面的链接地址,相当于一份专门写给Google爬虫看的目录清单。它不仅列出链接,还可以额外标注每个页面的优先级(哪个最重要)、更新频率(多久变化一次)和上次修改时间,帮Google更聪明地安排抓取顺序。有了这份清单,Google爬虫不用自己在你网站里乱翻,直接按图索骥就能找到所有页面,特别是那些藏得比较深、缺乏内部链接的文章,也能确保被及时发现。一句话总结,Sitemap就是你递给Google的“网站完整目录册”
- 官方网址:https://search.google.com/search-console/about(需先注册Google账户)
安装GSC
01-1024x372.webp)
- 打开官方网址后提交网站域名,选择对应的资源类型(这里以网域举例)
- 需先验证域名所有权(以Cloudflare举例),验证通过
添加Sitemap(站点地图)
02-1024x328.webp)
- Yoast SEO (推荐)
一款为 WordPress 网站提供搜索引擎优化的免费插件,全球有超过 1000 万个网站在使用,其核心功能是提供一套全面的站点优化工具:一方面覆盖技术性 SEO,能自动生成 XML 站点地图、添加 Schema.org 结构化数据(帮助搜索引擎理解内容并展示丰富摘要)、管理重定向等;另一方面聚焦于内容本身,在编辑文章时通过“红绿灯”系统对标题、元描述、关键词密度、内部链接和可读性等给出实时的、可操作的优化建议
- 进入GSC后台,左侧找到站点地图,右侧添加站点地图网址,站点网址一般是:(游览器打开查看)
Yoast SEO 插件:https://你的域名/sitemap_index.xml (本期举例)
WordPress 5.5+ 自带:https://你的域名/wp-sitemap.xml
其他通用地址:https://你的域名/sitemap.xml
- 添加新的站点地图后提交等待验证
创建robots.txt并且添加爬虫规则
- robots.txt文件是一个存放于网站根目录的文本文件,主要作用是向搜索引擎爬虫(如 Googlebot)提供抓取指引,它通过明确的指令告知爬虫网站中哪些目录或页面可以抓取、哪些不应抓取,以优化爬虫的抓取效率并避免服务器资源浪费;同时,文件中的
Sitemap指令还能直接指明站点地图的位置,引导爬虫更高效地发现和索引网站内容。需要注意的是,robots.txt仅是一个“君子协议”,它依赖于搜索引擎的自觉遵守,不能作为防止恶意爬虫或保护敏感数据的安全手段,对于公开内容为主的博客网站,通常采用全开放策略(Allow: /)并配合站点地图指引,以确保内容被尽可能全面地收录
- robots.txt三种通用版本:
- 电商网站(WooCommerce)通用版本
User-agent: *
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /wishlist/
Disallow: /add-to-cart/
Disallow: /product-category/
Disallow: /product-tag/
Disallow: /?s=
Disallow: /?filter_
Disallow: /?min_price=
Disallow: /?max_price=
Disallow: /?orderby=
Disallow: /?per_page=
Allow: /wp-admin/admin-ajax.php
Allow: /wp-content/uploads/
Sitemap: https://你的域名.com/sitemap.xml
2. 知识付费网站通用版本
User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /my-account/
Disallow: /cart/
Disallow: /checkout/
Disallow: /sample-page/
Disallow: /author/
Disallow: /?s=
Allow: /wp-content/uploads/
Sitemap: https://你的域名.com/sitemap.xml
3. 博客/内容型网站通用版本
User-agent: *
Allow: /
Sitemap: https://你的域名.com/sitemap_index.xml
- 创建robots.txt并且添加爬虫规则流程:在服务器中找到网站根目录 → 网站根目录下创建robots.txt → 随后添加爬出规则
如果你的网站是安装在Docker中,可以直接使用以下代码:(以“博客/内容型网站通用版本”举例)
printf "User-agent: *\nAllow: /\n\nSitemap: https://你的域名.com/sitemap_index.xml\n" | docker exec -i 容器名 tee /var/www/html/robots.txt
- 最后验证:
- 后台输入docker exec wp-php cat /var/www/html/robots.txt,看到“博客/内容型网站通用版本”输出的内容表示成功
- 浏览器访问确认:打开
https://你的域名/robots.txt,应显示相同内容