动态页面要确认“可见内容”,不能只看浏览器里是否出现文字,而要看搜索引擎抓取到的HTML里是否包含这些文字。最直接的做法是:用抓取工具或查看网页源代码,对比“用户看到的文字”和“原始响应中的文字”是否一致。若正文只由JavaScript在浏览器端生成,而原始HTML为空,搜索引擎可能看不到;若原始HTML已有完整内容,则可见性更可靠。
在浏览器中打开动态页面,按 Ctrl+U 查看网页源代码,搜索页面标题、第一段正文或一个独特短语。结果分三种:
这一步的判断依据是“原始响应”和“渲染结果”的差异。适用条件是页面内容依赖前端请求、组件渲染或接口返回。若原始HTML已包含正文,后续重点转向内链和提交;若没有,就要优先处理渲染可见性。
搜索引擎通常提供抓取测试或网址检查工具,可查看抓取到的HTML。操作时输入完整URL,等待抓取结果,再搜索正文中的独特短语。检查项包括:
robots.txt 是否误屏蔽了动态接口或资源文件。抓取限制不等于索引移除,但会阻止抓取。结果说明:如果抓取HTML有正文,说明可见内容基本可被读取;如果只有空容器,需要把关键内容改为服务端渲染、静态化或预渲染。不同搜索引擎对JavaScript渲染的支持程度不同,应分别用对应工具核查,不能用一个平台的结果推断所有搜索引擎。
动态页面常通过接口获取数据。打开浏览器开发者工具的“网络”面板,刷新页面,找到返回正文数据的请求。检查项:
robots.txt 禁止抓取。若禁止,渲染可能失败。适用条件:页面内容由XHR或fetch加载。判断结果:接口可公开访问且返回正文,抓取可见性较好;接口需要登录或被屏蔽,则搜索引擎可能看不到内容。注意,HTTPS不保证安全无漏洞或排名,它只解决传输加密问题。
把动态页面的规范URL加入站点地图,并通过搜索资源平台的提交入口提交。检查项:
结果说明:站点地图不保证收录,提交也不保证索引。它只能帮助发现URL。若抓取HTML仍无正文,提交再多也难解决可见内容问题。时间和人手有限时,优先处理原始HTML无正文、接口被屏蔽、返回错误这三类问题。
下一步:选一个流量较高或转化价值较高的动态页面,按上述清单逐项记录“原始HTML是否有正文、抓取HTML是否有正文、接口是否可访问”。根据记录结果,先修原始HTML为空且接口被屏蔽的页面。