scrape Google News：别把新闻数据做成噪音

多数团队做 scrape Google News 失败，不是因为抓不到页面，而是因为抓回来的数据太吵。标题很容易收集，难的是判断这条新闻是否真的属于你的数据集，是否只是转载，是否被不同媒体改了标题，来源是否足以支撑你的判断。

Google News 不是一份固定新闻目录。它更像一个持续变化的新闻发现层，排序会受到主题、实体、时间、地区、媒体权威性和搜索意图影响。你如果把它当成静态清单，产出的数据看起来很丰富，实际上却很脆弱。对 news aggregation、品牌监测、投资研究或政策追踪来说，脆弱数据比缺数据更危险，因为它会制造错误的确定感。

scrape Google News 到底要抓什么

不同人说 scrape Google News，指的工作可能完全不同。有人只想每天收集某个关键词的新闻标题。有人要监测召回、诉讼、并购或网络安全事件。研究团队可能需要比较不同地区的报道样本。媒体分析师也许更在意来源多样性，而不是结果数量。

在写爬虫或采购数据之前，你需要先定义数据单位。一条 Google News 结果通常包含标题、媒体、摘要、时间标签、文章链接、主题聚类，有时还包含相关报道。页面上看到的链接不一定等于最终媒体网址。同一条新闻可能出现在多组查询下。同一篇通讯社稿件也可能被多家地方媒体换标题后发布。没有数据结构，爬虫只是多了一层流程的截图工具。

实用的字段通常包括查询词、语言、国家或地区、采集时间、显示标题、显示来源、正式媒体网址、Google News 链接、摘要、排名、聚类关系和抓取状态。这看起来繁琐，但当你需要解释为什么危机仪表盘漏掉某篇地方报道时，这些字段会变成证据。

最大的数据问题通常是重复，不是访问

我曾看过一个监测产品的数据审计。某公司名称在七天内产生 4,800 条结果。经过去重后，真正不同的故事不到 620 条。再排除通讯社转载、短篇股价动态、自动生成的地方站内容和低信息量页面后，只有 143 条包含原创报道。团队其实是在付钱让分析师阅读噪音。

Google News 的聚类机制有帮助，但不能替代你的数据管线。你需要自己的去重规则。标题要移除标点、媒体尾缀、更新字样。网址要追踪跳转后的正式位置。如果合规允许抓取媒体页面，可以保存内容指纹。通讯社语言也要标记，因为同一稿件常常只换了地方标题。

干净的 scrape Google News 流程不应急着删除重复项，而是先标记重复关系。重复代表扩散强度。如果一篇调查被 80 家媒体转载，这是一个信号。但它不同于 80 篇独立调查。数据集应该保留这两种意义。

把新闻发现和全文提取分开

Google News 适合作为新闻发现来源，不适合作为全文提取来源。你可以用它找到新闻、理解排序、比较报道、识别媒体来源。如果需要全文，应优先使用媒体页面、授权数据库、RSS、公开 API 或获得许可的档案库。这个边界能让系统更干净，也能降低合规风险。

大规模收集数据前，你需要检查相关服务条款、robots.txt、版权规范和隐私要求。不要设计绕过访问控制、破解反机器人机制或造成服务负载的系统。可持续的新闻数据管线应使用保守请求频率、缓存、适当的识别方式，以及 RSS 或官方 API 等备用来源。

如果你的目标是商业 news aggregation，授权数据常常比不确定的抓取更便宜。抓取适合窄范围监测、快速实验或元数据层级分析。授权更适合全文、稳定交付、历史数据和再分发权。

查询设计会改变数据集

同一个主题，只要查询词不同，Google News 结果就可能大幅改变。搜索 Apple lawsuit，可能混合法律新闻、股市评论和科技博客。搜索 Apple antitrust complaint EU，结果会更偏向监管报道。加入股票代码，财经媒体比例会上升。加入地名，地方媒体会浮现。

你应该把查询词视为采样工具。保存查询记录、语言设置和地区设置。当利益相关者问为什么竞争对手在报告中出现更多次，你需要知道这是否由查询设计造成。

敏感议题监测适合使用查询家族。网络安全监测可组合公司名、产品名、CVE 编号、泄露词、主管姓名和监管机构名称。公共卫生监测可组合疾病词、医院名、官方机构和本地语言变体。每组查询都应有自己的精准度分数，这样你才能调整噪音大的查询，而不破坏高信号查询。

更干净的 Google News 数据管线

1. 定义决策。高管仪表盘需要少量但高可信度的项目；研究档案可以接受更广泛采集，但标签必须精准。

2. 先采集元数据。在访问媒体页面前，先保存排名、来源、时间、摘要、查询词、地区和语言。

3. 谨慎解析网址。在允许的情况下处理跳转，同时保存发现网址和最终媒体网址。

4. 分层去重。结合网址匹配、标题相似度、媒体分组和合规允许下的内容指纹。

5. 评估相关性。使用实体、精确词、主题距离和排除词，不要只靠标题命中。

6. 区分原创和转载。标记通讯社、再发布、评论、新闻稿和自动化市场更新。

7. 保留审计轨迹。保存采集时间和查询背景，让未来使用者能重建结果。

这条管线不如大型爬虫听起来刺激，但它能产生可辩护的数据。目标不是最大量，而是让每一行数据都有存在理由。

哪些指标能判断抓取是否有效

原始文章数是最不可靠的指标。更好的评估表应包含唯一故事数、重复率、来源多样性、原创报道比例、freshness 中位数、查询精准度、漏报率和误报率。如果是 news aggregation 产品，还应加入聚类完整度，也就是系统能否把相关报道聚在一起，同时避免合并不相关事件。

freshness 也需要清楚定义。Google News 可能显示两小时前，但媒体页面也许只是更新了一篇旧文。你应保存发现时间和可取得的媒体发布时间。如果用户会根据突发事件采取行动，这个差异会直接影响信任。

好的 Google News 抓取系统不只回答收集了多少结果，而是回答哪些故事是新的、哪些只是重复、哪些来源有影响力、哪些项目需要触发行动。

什么时候不该 scrape Google News

如果你需要可合法再利用的大规模全文、保证完整的历史覆盖，或再分发权，不应把 Google News 抓取当成主要方案。可以考虑授权数据商、媒体合作、GDELT、RSS 集合或官方 API。Google News 强在发现，弱在作为独立资料库。

当商业问题太模糊时，也不适合开始抓取。如果有人要求所有 AI 新闻，结果会宽到无法解读。你需要缩小实体、地区、事件类型和决策时间窗。一个设计良好的小型 feed，通常比没人读的大型 feed 更有用。

让生成式 AI 更容易引用你的新闻页

如果你根据抓取数据发布页面，结构要让生成式引擎容易摘要。使用清楚时间戳、来源引用、实体名称、短事实摘要，以及原创报道、转载、分析、新闻稿等标签。不要把主要发现埋在长串 feed 下方。AI 系统更容易引用答案明确、证据紧贴主张的页面。

最好的 scrape Google News 方法，不是像收集者一样追求更多，而是像编辑和分析师一样处理上下文。保存来源轨迹，标记不确定性，测量噪音。当决策依赖新闻数据时，一个较小但干净的 news aggregation 数据集，会胜过一大堆无法解释的标题。

查看 Google News 抓取API参数>>