Blog

标签:数据清洗

当前标签共有 3 篇文章。

技术指南2026年10月28日4 分钟阅读亿牛云技术团队

复杂网页表格采集:合并单元格、多级表头与分页导出

网页上一眼能看懂的表格,保存成数组后可能已经错位:第二行没有地区单元格,因为它被上一行合并;表头分两层,而“销售额”上方还有年份;破折号表示缺失,不能自动当零。 本文提供两页完整表格材料,先展开合并单元格,再建立稳定列名,最后换算单位并导出 CSV。它适合需要理解解析过程的数据开发者,不把所有表格直接丢给一个函数后忽略

技术指南2026年10月28日6 分钟阅读亿牛云技术团队

多站点商品数据合并:统一名称、规格与来源记录

两个网站都卖“经典红茶”,不代表它们卖的是同一个规格。一个页面写 500 g,另一个写两盒各 250 g;即使净含量一样,包装、库存和价格也未必能够直接比较。 本文面向已经拥有多个采集器结果的数据开发者。我们接收两份结构不同的 JSON,把名称、规格和报价整理成统一格式,再用明确的商品标识合并来源。最终输出三类数据:能

技术指南2026年10月28日6 分钟阅读亿牛云技术团队

多语言网页采集:从中文乱码到正确的 CSV 导出

中文页面出现乱码时,首先要判断损坏发生在哪里:响应字节被错误解码、正确文本被二次转码,还是 CSV 被表格软件按错误编码打开。把所有地方都改成 UTF8,可能只是把同一份乱码重新保存了一遍。 本文面向已经能下载网页、但需要处理中文与混合编码来源的 Python 开发者。我们先用两份内容相同、编码不同的页面材料建立可解释