做电商数据抓取，最容易出现的误判不是“数据不够”，而是把同一件商品、同一类需求和同一个销售机会重复计算。一个选品项目曾经抓到 10.8 万条商品记录，按商品链接去重后还剩 6.4 万条；但经过品牌、型号、规格和图片人工抽查，真正具有独立竞争意义的商品只有约 2.9 万条。更麻烦的是，团队原本把跨平台同款销量直接相加，结果把一个供应商的市场表现误判成了整个品类的需求规模。
电商数据抓取的核心，不是尽可能多地抓，而是让每一条保留下来的数据都能解释、能追溯、能支持决策，并且不把技术效率建立在合规风险之上。
电商数据抓取：选品人员决策指南：面对重复数据多如何兼顾控制合规风险
很多团队把“重复数据”理解为两行内容完全一样。只要商品链接、标题或商品编号不同，就被当作不同商品。这种方法适合做简单的数据清理，却不适合选品。选品关注的不是页面数量，而是市场中有多少个可被消费者比较、被供应链替代、被团队跟进的商品机会。
同一款 500 毫升保温杯，可能在多个平台、多个店铺、多个促销页面中出现。它们在页面层面是不同记录，在供应链和产品竞争层面却可能是同一款商品。如果把这些记录全部计入竞争商品数，市场会被人为放大；如果把不同容量、不同材质和不同套装全部合并，利润和需求又会被错误平均。
因此，我建议把去重拆成三个层级：记录去重、商品去重、决策去重。记录去重解决采集重复，商品去重解决同款识别，决策去重解决“哪些差异必须保留”。这三个层级不能用一条数据库规则代替。
合规控制不应该放在报告最后，用一段“请遵守相关法律法规”草草收尾。真正影响风险的，往往是采集前有没有明确目的，采集中是否绕过访问控制，采集了哪些字段，抓取频率是否合理，数据是否包含个人信息，以及后续是否对外传播原始图片、评价和详情页内容。
同样一批商品数据，用于内部品类趋势分析，和用于公开复制竞品详情页、批量传播用户评价，风险判断并不相同。数据是否公开可见，也不能简单等同于可以无限制复制、长期保存和商业化再利用。
如果一个选品结论只回答了第一个问题，却没有回答后两个问题，它更像一份热闹的商品清单，而不是可执行的决策依据。
当团队用商品链接数量估算市场竞争时，同款商品在不同店铺的重复上架会被计为多个竞争对象。对于标品，页面数和真实产品数的差异尤其明显。一个充电线可能有几十个店铺销售，但真正影响供应链和价格的，可能只有少数几种公模产品。
页面数量仍然有价值，它可以衡量渠道覆盖、分销广度和消费者可见度，但不能直接等同于产品竞争数量。我的做法通常是同时保留三个字段：页面数、商品簇数量和供应商数量。这样，业务人员可以区分“产品竞争激烈”与“同一产品分销广泛”这两种完全不同的情况。
跨平台分析时，最危险的操作之一是把不同平台的销量直接相加。平台的销量口径可能不同，有的平台展示付款人数，有的平台展示累计销量，有的平台展示近 30 天销量，还有的平台会把不同规格或套餐合并显示。
即使两个页面被判断为同款，也不能默认它们的销量可以直接求和。除非采集时间、统计周期、指标定义和商品范围都一致，否则更稳妥的做法是分别记录，再进行区间判断或平台内比较。
有些平台会把颜色、容量、套装和赠品拆成多个 SKU，有些平台则在商品层面合并展示。若选品人员把所有 SKU 当作独立商品，可能误判竞争商品数量；若把所有 SKU 的销量粗暴加总，又可能无法判断真正受欢迎的是哪一个规格。
处理 SKU 时，我会先建立“商品簇”和“销售变体”两层结构。商品簇回答“是否属于同一基础产品”，销售变体回答“消费者实际购买的是哪个规格”。这比单纯在表格里删除重复行更接近真实的选品逻辑。
同一个链接在不同日期出现，不一定是重复垃圾。它可能包含价格下降、评价增加、库存变化、标题调整和促销变化等重要趋势。如果用商品链接做唯一键并覆盖旧记录，团队会失去判断“商品是否正在加速”的证据。
因此，去重时必须先确定数据用途。做当前货盘分析，可以保留最新快照；做趋势分析，则应将商品标识和采集时间共同作为记录键。删除重复记录之前，先问一句：这条记录是不是一条历史证据？
标题相似只能说明两个页面的词语接近，不能证明商品相同。商家可能使用相同的热门词，但在材质、尺寸、功能、配件和质量等级上存在明显差异。相反，同一款商品也可能因为品牌词、促销词和标题顺序不同而表现出低文本相似度。
标题标准化可以作为候选召回步骤，例如去除促销词、统一单位、拆分容量和颜色。但它不应直接触发自动合并。对于高价值品类，我会把标题相似度设置为“待核验信号”，而不是“最终事实”。
图片重复的确是有用信号，但供应商可能使用同一张公版图销售不同材质和不同工艺的产品。还有一种情况是，图片只展示了外观，真正影响质量的参数藏在详情页文字和规格表中。
图片相似度适合帮助人工快速发现候选同款，不适合独立承担商品归并。自动识别结果最好和型号、关键参数、包装清单、价格区间一起使用，并为“疑似同款”和“已确认同款”设置不同状态。
去重率只是数据处理指标，不是选品质量指标。把不同规格、不同渠道和不同时间快照全部合并，确实可以让表格看起来更整洁，却可能损害业务判断。
我更关注三个结果：重复曝光是否被控制，关键差异是否被保留，最终结论能否由原始记录复核。一个去重率只有 30% 的数据集，如果保留了正确的商品结构，可能比去重率达到 80% 但丢失变体信息的数据集更有价值。
“公开可见”通常只能说明普通访问者能够看到某些内容，不代表用户可以绕过技术措施、超出合理频率批量采集，或将页面内容完整复制到自己的商业数据库中。
在项目评估时，至少要同时看数据来源、访问方式、字段类型、使用目的、保存方式和输出对象。涉及登录权限、验证码、访问频率限制或明确禁止自动化访问的页面，应当先确认授权和平台规则，而不是先开发、后补合规说明。
评价内容对选品很有价值，可以帮助分析退货原因、使用痛点和功能缺陷。但评价区可能包含昵称、头像、联系方式、订单信息、地理线索或用户上传图片。选品分析并不需要保留所有原始信息。
更稳妥的方式是提取聚合后的问题标签，例如“漏液”“噪音大”“尺寸偏小”，并删除或脱敏与判断无关的个人信息。若确实需要研究原文，应限制访问人员、明确用途和保存期限，避免把用户内容变成无限期的素材库。
选品项目开始时，团队常常先列出“商品标题、价格、销量、评价、图片、店铺、品牌”等字段，然后再想这些数据能做什么。顺序反过来更有效。应该先明确要决定的是进入哪个品类、选择哪个规格、比较哪个渠道，还是验证某个需求是否增长。
如果目标是判断市场规模，商品簇和统计周期比店铺描述更重要；如果目标是寻找供应链机会，型号、材质、包装和供应商线索更重要；如果目标是优化商品方案，评价问题和规格差异更重要。决策不同，去重边界也不同。
我在设计选品数据表时，通常不只设置一个“商品名称”字段，而是拆成四层身份。这样做会增加前期建模工作，却能显著减少后续争议。
| 层级 | 回答的问题 | 建议字段 | 是否可以直接合并 |
|---|---|---|---|
| 页面记录 | 这条数据来自哪个页面 | 平台、链接、页面ID、抓取时间 | 同一时间同一页面可去重 |
| 商品实体 | 它是不是同一基础商品 | 品牌、型号、材质、关键规格 | 需要规则与复核 |
| 销售变体 | 消费者买的是哪个规格或套餐 | 颜色、容量、尺寸、套装、赠品 | 通常不能直接删除 |
| 市场机会 | 它是否代表一个独立选品方向 | 需求场景、价格带、痛点、差异化卖点 | 取决于业务目标 |
这四层结构能避免一个常见争论：两条记录到底“算不算重复”。很多时候，答案不是简单的“是”或“否”，而是页面层面重复、商品层面相同、变体层面不同、机会层面可以合并。
自动规则最好不要输出只有“合并”和“不合并”两个结果。更适合的做法是输出合并置信度，并附带证据。比如，品牌和型号完全一致、规格一致、图片高度相似，可以进入高置信度队列；只有标题接近但规格缺失，则进入人工复核队列。
一个实用的字段设计如下：
机器适合扩大候选范围，人工适合处理高代价误判。对于高客单价、强品牌、强规格差异的品类，宁可多保留一些待复核记录，也不要为了提高自动化比例而大量误合并。
重复数据和口径不一致都会影响指标可信度。我会给选品结论增加一个可信度标签，而不是让所有数据看起来同样确定。可信度可以由来源数量、字段完整度、时间新鲜度、同款确认程度和平台口径一致性共同决定。
例如，一个商品的价格来自三个平台，时间相近、规格明确、型号一致，可信度可以较高；另一个商品只有一张图片和一个模糊标题，销量还来自不明统计周期，就不应该与前者使用同样的权重。
下面用一个便携榨汁杯的情景案例说明。该案例中的数量、价格和销量均为脱敏后的样本推演，用于展示处理方法，不代表任何平台的实际市场统计。团队从三个公开可访问的商品页面集合中获得 18,640 条记录，字段包括标题、页面链接、价格、容量、品牌、评价数量、展示销量和抓取日期。
第一次统计显示，便携榨汁杯中有 7,900 个“热门商品页面”。如果直接按页面数量和展示销量排序，400 毫升和 450 毫升两个规格都呈现出很高的热度。进一步检查后发现，其中一部分记录是同一商品的不同促销页面，还有一部分是同一个基础产品的颜色变体。
| 处理阶段 | 记录数 | 发现的问题 | 处理方式 |
|---|---|---|---|
| 原始页面记录 | 18,640 | 包含重复任务、活动页和不同时间记录 | 保留来源和采集日期，建立页面记录ID |
| 同时间记录去重 | 12,480 | 同一链接多次回流、分页重复 | 按平台、页面ID和采集时间去重 |
| 商品簇候选 | 6,930 | 标题相似、图片相似、规格接近 | 建立同款候选，不立即合并 |
| 人工抽查后商品簇 | 4,180 | 部分容量、功率和配件差异影响购买 | 保留销售变体和平台信息 |
| 进入选品分析池 | 1,260 | 剔除字段缺失、来源不清和过期样本 | 按价格带、规格和需求痛点分析 |
从标题看，400 毫升和 450 毫升产品高度相似；从图片看，很多页面甚至使用同一套主图。但在供应链和用户需求层面，它们可能对应不同杯体模具、电池容量、刀头结构和包装方案。
如果目标是判断“便携榨汁杯”这个大品类的需求，两个规格可以进入同一个商品簇；如果目标是评估具体采购成本和运输体积，就必须保留规格；如果目标是分析消费者偏好，还要继续观察评价中对容量、续航和清洗难度的反馈。
因此，案例中采用了“基础商品簇＋销售变体”的结构。基础商品簇用于估算需求方向，销售变体用于判断产品设计和供应链机会，平台页面用于分析渠道表现，三者不互相覆盖。
按原始页面记录计算，前十商品的展示销量占样本总量的 46%。同款归并并处理时间周期后，前十商品簇的可比销量占比降为 31%。这并不意味着原始数据“错了”，而是原始指标混合了渠道覆盖、重复页面和不同统计周期，不能直接代表独立产品的需求集中度。
与此同时，原本被认为竞争最激烈的低价区间，商品页面数下降幅度最大；中价区间页面数下降较少，但评价中的“漏液”和“清洗困难”问题更集中。这个结果改变了团队的选品方向：不再简单追逐最低价格，而是进一步验证杯盖密封、拆洗结构和配件组合是否存在差异化空间。
在这类项目中，九数云更适合承担数据分析、字段关联、指标计算、透视分析和看板展示等工作。团队可以把经过授权或合规取得的数据接入后，建立商品簇、平台、规格、价格带和时间周期之间的分析关系，用于观察重复率、价格变化、销量集中度和评价问题分布。
工具可以帮助我们减少手工复制、统一口径和保留分析过程，但它不能替代数据来源审查，也不能自动赋予用户抓取权限。使用任何分析平台时，仍然要明确数据来源、账号权限、字段范围、访问人员和保存期限。尤其不要把含有不必要个人信息的原始评价数据直接上传到共享空间。
我建议将分析环境拆成三层：第一层保存必要的原始来源标识，第二层保存清洗后的商品与变体数据，第三层只展示聚合指标和结论。这样既方便追溯，又能减少无关原始内容在团队中扩散。
采集前的评估不必一开始就写成几十页制度，但至少要形成一页纸记录。它的目的不是增加审批，而是让业务、技术和管理人员对“为什么采、采什么、怎么用”达成一致。
如果业务人员无法用一句话说明采集目的，技术团队就不应该直接开始扩大采集规模。目的不清，字段一定会膨胀；字段膨胀，个人信息和无关内容进入数据库的概率也会增加。
在不涉及绕过访问控制的前提下，采集任务应该设置合理频率和并发限制。平台出现异常响应、访问提示变化或数据结构异常时，应能自动暂停并由负责人评估，而不是通过增加请求量强行完成任务。
“可停”是一个容易被忽视的能力。没有暂停机制的任务，往往会在页面改版、字段异常或账号权限变化后继续运行，产生大量错误数据，甚至增加平台和账号风险。每个任务都应有负责人、截止时间、异常阈值和终止方式。
原始记录和加工记录应该分开保存。原始层只保留实现追溯所必需的信息，并设置访问权限；加工层记录标准化后的品牌、型号、规格、商品簇和指标；展示层尽量只使用聚合数据。
直接覆盖原始数据会带来两个问题：一是无法解释为什么两条记录被合并，二是当规则改变时无法重新计算。更好的方式是为处理规则设置版本，例如“规格归一化规则 V2”“同款候选规则 V3”，并记录每次合并的依据。
不是所有记录都值得人工逐条检查。可以先按风险和业务价值分层，把高客单价、强品牌、规格差异大、销量异常集中和字段缺失的记录放入人工复核队列。
例如，一个普通配件的标题相似但型号缺失，可能只是低优先级待核验；一个高价值设备被错误归并，则会影响采购、利润和竞争判断，应优先处理。人工复核应该记录结论和理由，而不是只在表格里标记“已看过”。
选品报告通常不需要展示所有原始页面、完整用户评价或用户昵称。对于管理层，价格区间、需求趋势、竞争强度和数据可信度已经足够；对于采购团队，规格、供应商和交付信息更重要；对于研究人员，可能还需要保留可追溯来源。
不同角色看到不同层级的数据，可以减少原始数据扩散。对外展示时尤其应避免直接复制受保护的图片、详情页文案和完整评价内容，必要时改用聚合统计、问题标签和经过授权的引用。
如果目标是判断某个品类的价格变化、需求方向和卖点趋势，建议优先使用聚合字段。商品标题、价格、规格、平台、抓取时间和评价问题标签通常已经能够支持初步分析，不必默认收集用户昵称、头像、完整评价原文和详情页图片。
在这个场景下，重点是时间序列和统计口径。可以保留同一商品的多期快照，但必须标注采集日期和指标周期。跨平台比较时，不要把不同平台的销量直接合并成一个确定数字，最好分别展示，并说明口径差异。
供应链选品比趋势研究更重视型号、材质、尺寸、包装、起订量、交付能力和价格阶梯。标题和图片的权重下降，规格表和供应商确认的重要性上升。
同款归并时不能只看外观。两个外观相同的商品，可能在电池、芯片、材料、质检和售后方案上完全不同。如果采购决策金额较大，建议把自动识别结果当作候选清单，最终以供应商资料、样品核验或授权数据为依据。
价格监测需要保留历史快照，因此不能简单按链接覆盖旧记录。建议至少保留商品页面、规格、标价、促销价、优惠条件、库存状态和采集时间，并区分“页面展示价格”和“实际可得价格”。
促销活动可能只对特定会员、地区或支付方式开放。若报告没有说明价格条件，团队可能把不可普遍获得的优惠价当成市场基准。对于异常降价，应先确认是否是短期活动、清仓、规格变更或页面错误。
评价分析建议采用最小化原则。先从文本中提取问题类别、出现频次、时间变化和规格关联，再判断是否需要保留原文。对外报告可以写“近三期样本中，清洗困难相关反馈占比上升”，而不是直接复制用户的完整评价。
如果评价包含联系方式、订单截图、地址或其他可识别信息，应优先删除或脱敏。对于用户上传图片和长文本，还要关注内容权利和商业使用边界，不能因为它们出现在页面上，就默认可以用于广告或产品详情页。
第三方服务能减少开发和维护成本，但不会自动消除合规责任。选择服务时，要看数据来源说明、授权链条、字段范围、更新频率、数据存储地点、访问权限、删除机制和服务商对异常来源的处理方式。
如果服务商只承诺“数据全面”“抓取稳定”，却无法解释数据来源和使用边界，业务方就不应只根据功能数量决定采购。尤其要确认合同中是否明确了数据处理责任、信息安全义务、异常通知和项目结束后的删除安排。
在新品探索早期，团队可能希望一天内获得大量候选商品。这时可以采用较宽松的候选规则，先保留更多记录，再通过价格带、规格和评价问题做二次筛选。这样速度快，但同款误判和人工复核压力会增加。
如果进入采购决策阶段，判断成本就不同了。一个误合并可能导致样品选错、成本估算错误或库存风险上升，因此应提高规格核验和人工复核比例，接受处理速度下降。
| 阶段 | 优先目标 | 建议规则 | 主要代价 |
|---|---|---|---|
| 机会探索 | 快速扩大候选池 | 宽松召回，保留疑似同款 | 重复率和人工筛选量较高 |
| 品类评估 | 比较市场结构 | 商品簇与销售变体分离 | 建模和字段维护成本上升 |
| 采购决策 | 降低误合并风险 | 规格核验、样品确认、人工复核 | 处理周期更长，数据量减少 |
| 对外传播 | 控制权利与隐私风险 | 聚合输出、最小化原始内容 | 报告细节和可视化素材减少 |
全面采集看起来更有安全感，但字段越多，来源审查、权限管理、清洗规则和删除责任就越复杂。对于大多数选品项目，真正影响判断的字段并没有想象中那么多。
我的建议是采用“必要字段先行”的策略。先用商品标识、价格、规格、时间和聚合热度完成第一轮判断；只有当一个品类进入深入研究，才增加图片、详情参数或评价主题等字段。这样既控制成本，也减少无关信息进入数据库。
完全人工处理无法应对规模，完全自动化又容易把模糊判断伪装成确定事实。更合理的取舍是：规则处理高确定性记录，机器学习或相似度模型处理候选召回，人工处理高价值、高风险和低置信度记录。
人工复核不应该被视为自动化失败，而是数据治理的一部分。真正需要评估的不是“人工比例越低越好”，而是人工时间是否集中在最可能改变决策的记录上。
即时数据适合监测库存和活动变化，历史数据适合判断趋势。两者的存储成本和合规管理要求不同。如果团队只做当前选品，可以减少历史保留；如果要分析价格周期和需求增长，就必须保留必要的时间快照。
保存历史数据时，不要无限期保留所有原始页面内容。可以保留商品标识、时间、价格、规格和经过处理的聚合指标，把不再需要的图片、完整文本和无关字段按期限删除。
项目负责人至少应该能够回答：数据来自哪里、以什么方式获得、是否需要登录、是否存在明确的接口或授权、计划用于什么目的、是否会向外部人员提供。
如果这些问题无法回答，数据就不适合直接进入核心决策库。来源不清的数据可以作为探索线索，但不应作为采购金额、市场规模或对外结论的唯一依据。
本文不提供绕过验证码、登录、访问频率限制或其他技术措施的操作方案。原因很简单：技术上能够访问，不等于业务上有权访问；短期抓到数据，也不等于可以持续、稳定、合规地使用。
如果某类数据对业务确实必要，优先考虑平台授权接口、正式数据服务、合作方提供的授权数据或经过确认的公开数据来源。对于需要登录或存在明确访问限制的内容，应先完成权限和规则确认，再决定是否开展项目。
商品标题、规格和价格通常属于选品分析的核心字段；用户昵称、头像、联系方式、地址、订单截图和可识别的评价文本，通常不是核心必需字段。数据最小化不是形式要求，而是降低泄露、误用和后续删除成本的直接办法。
如果评价分析确实需要原文，应限制访问人员，设置脱敏规则，并明确保存期限。产品经理和采购人员只需要看到问题标签和聚合趋势时，就没有必要开放完整原始文本。
选品研究可以关注竞品的图片风格、详情页结构和用户反馈，但研究用途与公开复制、广告使用、商品详情页使用并不是同一件事。图片、详情页文案、用户评价和品牌标识可能涉及不同类型的权利和平台规则。
对外报告应尽量使用原创图表、抽象化标签和经过授权的素材。确需引用时，应确认使用范围、来源标注和商业传播条件，避免把内部研究资料直接变成公开营销素材。
数据合规、个人信息保护、著作权、商标和平台服务规则涉及不同问题，不能用一句“公开数据可以使用”或“一律不能抓取”替代具体判断。正式项目应结合适用的法律法规、平台协议、授权文件和企业内部制度进行审查。
国内项目通常需要关注《中华人民共和国个人信息保护法》《中华人民共和国数据安全法》《中华人民共和国网络安全法》以及与著作权、商标和反不正当竞争有关的规则；跨境项目还要进一步确认数据跨境、当地隐私法规和目标平台的服务条款。本文提供的是业务治理框架，不替代针对具体项目的法律意见。
我建议把这份清单放在项目启动表和报告发布审批中，而不是只放在知识库里。真正有效的流程，不是“大家都知道风险”，而是让负责人在任务开始、数据入库、报告发布三个节点都必须完成确认。
很多团队一上来就搭建销量排名、价格趋势和竞品分布看板，但如果商品簇还没有稳定，图表只是把重复数据展示得更漂亮。看板建设的第一步不是选颜色和图表，而是确认商品主键、销售变体、平台口径和时间字段。
使用九数云等分析平台时，可以把商品簇作为分析主线，将原始页面、规格变体和平台指标关联起来。这样既可以看某个商品簇覆盖了多少页面，也可以单独看某个规格在不同平台的价格和评价变化，避免所有指标都被压缩到一个商品名称上。
普通看板通常只展示价格、销量和评价数量，却不告诉使用者这些数字有多可靠。建议增加数据新鲜度、来源数量、字段完整率、同款确认状态和统计口径等辅助指标。
例如，某商品销量很高，但只有一个来源、统计周期不明、规格字段缺失，应该显示为“高热度、低可信度”，而不是直接排在“优先采购”第一名。这样，管理层看到的不只是结果，也能理解结果的限制。
数据分析工具最有价值的地方，不只是自动生成排名，还能帮助团队快速发现异常。短期销量突然翻倍、价格异常低、评价数量与页面热度不匹配、同一图片对应多个型号，都可以进入复核队列。
异常不一定代表错误，也可能是促销、内容传播或新品爆发。关键是不要让异常数据直接进入最终决策。看板应该支持从聚合结果下钻到商品簇、变体和来源记录，但对原始内容的访问仍应受权限控制。
每轮选品结束后，至少复盘三类记录：哪些同款被误合并，哪些同款没有被识别，哪些数据虽然准确却没有帮助决策。前两类用于优化去重规则，后一类用于删减无效字段。
如果一个字段连续几轮都没有改变选品结论，却增加了采集、清洗和权限管理成本，就应考虑删除或降低采集频率。数据治理的成熟，不是数据库越来越大，而是同样的决策可以用更少、更可靠、更可解释的数据完成。
面对重复数据多的问题，最差的做法是简单删除相同链接，最危险的做法是把标题、图片和销量拼在一起后直接下结论，最容易被忽视的做法则是只关注采集效率，却不记录来源、权限和处理依据。
更稳妥的路径是先明确决策目标，再建立页面记录、商品实体、销售变体和市场机会四层结构；随后根据品类特征选择去重规则，用自动化处理高确定性记录，把人工时间集中在高价值、高风险和低置信度样本上。
在合规方面，要把控制点前移到数据生命周期：采集前确认目的和来源，采集中控制字段和访问边界，清洗时保留规则版本，分析时分离原始与聚合数据，输出时减少不必要的图片、文案和个人信息，项目结束后按期限删除不再需要的内容。
如果准备立即改造团队流程，可以先做三件事：第一，抽取最近一批商品数据，分别统计页面数、商品簇数和供应商数；第二，为每个选品指标增加统计周期、来源和可信度字段；第三，建立一张项目级检查表，把数据来源、个人信息、访问边界和输出权限纳入发布前确认。
选品数据的价值，不在于它抓到了多少页面，而在于它能否帮助团队用更少的重复、更清楚的证据和更可控的风险，做出一个经得起复核的商品决策。
我在做跨平台选品时，经常遇到标题、主图和价格都很接近的商品。直接按商品链接去重，数据量看起来变少了，但我又担心把不同规格、套餐或渠道商品错误合并，最后误判市场需求。
我处理这类数据时，不会先问“这两条记录是不是重复”，而是先问“这两条记录是否能用于同一个决策”。这是因为技术重复、商品同款和业务可合并并不是一回事。例如，某次测试中抓取了 10,240 条商品记录。
按商品链接去重后剩下 7,860 条，但进一步核对品牌、型号、规格和图片后，只有 6,430 条可以归入同款商品组。剩下的记录中，有些是 400ml 与 500ml 的不同容量，有些是单品与三件套，不能直接合并。
重复类型典型表现处理建议 记录重复同一平台、同一商品ID、同一时间被重复采集可删除重复记录，但保留采集日志 历史快照重复同一商品在不同日期重复出现不要删除，可用于分析价格和热度变化 疑似同款品牌、型号、关键参数和图片高度接近建立同款组，保留原始链接和平台信息 规格或套餐不同容量、数量、配件、服务不同原则上不直接合并，保留差异字段 我的判断顺序通常是：先用平台商品ID或标准化链接处理“记录重复”，再用品牌、型号、规格和关键属性识别“疑似同款”，最后根据分析目的决定是否聚合。
看市场规模时可以统计同款组的覆盖平台数；看价格竞争时必须保留平台、店铺和套餐；看供应链时则要保留材质、规格和包装方式。最容易踩的坑，是把同款组的销量直接相加。不同平台的销量口径、统计周期和展示规则可能不同，更稳妥的做法是把销量标记为“平台内指标”，只在口径一致、时间范围一致且经过核验时进行聚合。
我以前以为去重就是删除相同链接，结果清洗完以后，商品数量虽然下降了，价格、规格和评价差异也一起丢失。现在我想知道，哪些字段必须保留，才能让去重后的数据继续支持选品判断和后续复盘？
去重后的数据库不应该只有一个“标准商品名称”和一个“最终价格”。如果只保留汇总结果，选品人员无法判断这个结论来自哪个平台、哪个店铺、哪个时间点，也无法解释为什么两条商品记录被合并。在一个脱敏的选品测试中，我们把商品数据拆成三层：商品实体层、渠道表现层和审计追溯层。
这样处理后，原始记录从 5,200 条压缩为 1,980 个同款组，但仍保留了 5,200 条来源记录，后续复核时不需要重新抓取。
数据层建议字段解决的问题 商品实体层标准名称、品牌、型号、类目、规格、关键属性判断哪些记录属于同一商品或同款组 渠道表现层平台、店铺、价格、销量指标、评价数、上架时间比较不同渠道的竞争和需求表现 来源追溯层原始链接、商品ID、采集时间、来源任务、规则版本解释数据从哪里来、何时采集、如何处理 人工判断层合并依据、复核状态、置信度、驳回原因避免自动规则成为无法解释的黑箱 我尤其建议保留“合并依据”和“置信度”两个字段。
比如，品牌、型号和容量完全一致，可以标记为高可信；只有标题和主图相似，但缺少型号信息，只能标记为中低可信，并进入人工复核队列。还要把原始数据与加工数据分开保存。加工表可以服务报表和选品评分，原始表则用于追责、纠错和规则迭代，不能因为“已经清洗过”就覆盖原始记录。
一个实用的判断标准是：如果某个字段会改变“是否采购、采购哪个规格、在哪个平台销售或如何定价”的结论，就不应在去重时随意删除。对选品而言，少几千条记录并不等于数据质量更高，能否复核才是更重要的指标。
我需要收集商品标题、价格、规格和评价趋势，用于内部选品分析，但不确定公开页面上的内容是否可以批量保存和商业使用。尤其是遇到登录限制、访问频率限制或用户评价时，我不知道哪些行为已经超出合理范围。
“公开可见”只能说明用户能够看到某项内容，不能自动推出“可以无限抓取、永久保存、复制传播或商业化使用”。我在做数据项目评估时，会把风险拆成来源权限、技术访问、数据类型和后续用途四个问题，而不是只看页面是否能打开。
检查维度低风险倾向需要重点审查的情况 来源权限有明确授权、开放接口或数据服务协议绕过登录、验证码、访问控制或明确限制 采集内容商品类目、规格、价格等必要字段用户联系方式、地址、订单信息等个人信息 访问行为合理频率、有限并发、异常自动暂停高频请求、持续重试、模拟规避检测 使用方式内部聚合分析、最小化保存对外复制图片、文案、评价或大规模再分发 选品项目中，我通常会先做一页纸的数据登记：采集什么、为什么采集、从哪里来、需要哪些字段、保存多久、谁能访问、是否涉及个人信息。
这个动作看似简单，却能避免技术团队为了“以后可能有用”而把评论全文、用户昵称和页面图片全部存下来。技术上应坚持“不绕过限制”的原则。可以设置访问频率、并发上限、失败重试次数和异常暂停机制，但不应把代理轮换、验证码识别或模拟登录当作规避平台规则的方案。
发现来源方明确限制访问，或者授权范围无法确认时，最稳妥的选择是停止采集并改用授权数据、开放接口或人工核验。用户评价也不能简单视为普通商品字段。选品分析多数只需要“差评主题占比”“评价增长趋势”这类聚合结果，不需要保存昵称、头像、联系方式或可识别个人的原文。
能用统计结果解决的问题，就不要保留可识别个人的明细。最后，合规判断不能只由开发人员完成。涉及平台条款、个人信息、图片文案、评价内容或对外商业使用时，应让业务负责人、数据安全人员和必要的法律顾问共同确认，尤其不要用“网上公开”作为唯一的合规依据。
我发现很多数据报告会把商品按销量排序，再推荐排名靠前的产品，但同款重复、平台口径不一致和价格波动会让结果失真。对我来说，更重要的是知道一个商品为什么值得进入候选池，以及这个结论有多可信。
我不建议把“销量最高”直接等同于“最值得选”。重复数据会放大热门商品的表面规模，而高销量也可能伴随极高竞争、低利润、强品牌壁垒或供应链不稳定。在一次模拟选品复盘中，某品类去重前有 3,600 条记录，排名第一的商品被 18 个链接重复展示。
去重并统一时间口径后，该商品仍然热销，但在“竞争店铺数”和“价格下探幅度”两个指标上明显不占优势，最终没有进入首批测试名单。
判断维度建议观察指标常见误判 需求表现销量趋势、评价增长、搜索热度变化把同款多链接的销量简单相加 竞争强度同款组数量、品牌集中度、价格分布把不同规格商品当成不同竞争者 利润空间成交价、成本估算、促销频率、履约成本只看页面标价，不看长期促销 差异化机会差评主题、功能缺口、规格空白只复制热销标题和主图 数据可信度来源数量、字段完整度、采集时间、复核状态把单一来源的推断当成确定事实 我会给每个候选商品增加一个“可信度标签”，而不是只给出一个看似精确的排名。
多个来源的规格和趋势一致、且经过人工核验，可以标记为高可信；如果只有标题和主图相似，或者不同平台的统计口径无法对齐，就应标记为中低可信。一个可执行的机会评分可以写成：需求表现＋增长趋势＋利润空间＋差异化空间－竞争强度－供应链风险－数据可信度折扣。
这个公式不是行业标准，而是提醒团队：数据质量本身就是选品变量，重复越严重、来源越单一，最终结论就越应该保守。建议把选品流程分成三步：先用自动规则生成候选同款组，再对高销量、高金额或高风险记录人工复核，最后用小批量采购或广告测试验证数据判断。
这样做比一次性押注“数据排名第一”的商品更稳妥，也能在后续复盘时分清是市场判断错了，还是数据去重和口径处理出了问题。
读者评论
文章把“重复数据”分成记录、商品和决策三个层级，这个划分比较实用，尤其适合解决同款跨店铺统计导致的竞争规模虚高问题。
跨平台销量不能直接相加这一点很关键。不同平台的统计周期和口径差异较大，采用区间判断或平台内比较，确实比简单汇总更稳妥。
文中对标题和图片识别的提醒比较客观。自动规则适合筛选候选同款，最终仍需结合型号、规格和人工复核，能降低误合并风险。
合规部分没有停留在原则表述，而是提到了访问方式、采集频率、字段类型和保存期限，对实际制定抓取流程有参考价值。
四层商品身份模型虽然会增加建模成本，但能保留销售变体和历史快照，避免为了提高去重率而丢失趋势和规格信息。