复杂网页表格采集:合并单元格、多级表头与分页导出
网页上一眼能看懂的表格,保存成数组后可能已经错位:第二行没有地区单元格,因为它被上一行合并;表头分两层,而“销售额”上方还有年份;破折号表示缺失,不能自动当零。 本文提供两页完整表格材料,先展开合并单元格,再建立稳定列名,最后换算单位并导出 CSV。它适合需要理解解析过程的数据开发者,不把所有表格直接丢给一个函数后忽略
Blog
当前标签共有 4 篇文章。
网页上一眼能看懂的表格,保存成数组后可能已经错位:第二行没有地区单元格,因为它被上一行合并;表头分两层,而“销售额”上方还有年份;破折号表示缺失,不能自动当零。 本文提供两页完整表格材料,先展开合并单元格,再建立稳定列名,最后换算单位并导出 CSV。它适合需要理解解析过程的数据开发者,不把所有表格直接丢给一个函数后忽略
不想先学习爬虫框架,也可以从一个小列表开始采集。Maxun 的 Recorder Mode 用界面把字段与分页动作保存成任务,但录制预览正确并不代表保存后运行也正确,导出有四十行也不代表前两页都采全。 本文面向运营和分析人员。我们以 Books to Scrape 总目录为例,提取列表展示标题、展示价格和库存文案,设置
中文页面出现乱码时,首先要判断损坏发生在哪里:响应字节被错误解码、正确文本被二次转码,还是 CSV 被表格软件按错误编码打开。把所有地方都改成 UTF8,可能只是把同一份乱码重新保存了一遍。 本文面向已经能下载网页、但需要处理中文与混合编码来源的 Python 开发者。我们先用两份内容相同、编码不同的页面材料建立可解释
报表页面显示“下载已开始”,不代表文件已经完整写入。若立即关闭浏览器或读取下载目录里的一份旧文件,最终汇总可能既不完整也难以发现。 本文用 nodriver 完成下载目录配置、文件完成检查、CSV 解析与日报合并。正文提供两份内嵌 CSV 下载材料,不需要后台账号或另一个演示系统;真实后台的日期筛选和登录可接在取得下载