Maxun 无代码采集教程:录制操作、分页抓取与结果导出
通过 Maxun Recorder 配置图书列表字段和下一页动作,保存后重新运行,导出 CSV/JSON,并逐项定位漏页、错行、重复和截断标题问题。
不想先学习爬虫框架,也可以从一个小列表开始采集。Maxun 的 Recorder Mode 用界面把字段与分页动作保存成任务,但录制预览正确并不代表保存后运行也正确,导出有四十行也不代表前两页都采全。
本文面向运营和分析人员。我们以 Books to Scrape 总目录为例,提取列表展示标题、展示价格和库存文案,设置下一页与最多四十行,再导出核对。列表没有的 UPC 与详情描述不在本轮范围;取得详情链接也不等于已经访问详情。
准备输入地址
先在浏览器找到下列页面并确认内容,再从地址栏复制完整地址。服务或仓库地址从相应账户设置、官方项目的接入说明或克隆菜单取得。不要从示例输出中反推真实地址。
BOOKS_LIST_URL:Books to Scrape 总目录第一页地址。
下文 JSON 或任务参数中的 <变量名> 是待替换标记,提交前填写刚复制的实际值;JSON 不会自动展开环境变量。结果示例中的 example.16yun.cn 只表示来源字段的形状,不是本文部署的演示站。
接入工作台,不需要先配置模型
从 Maxun 官方项目页 的 Go To App 进入在线工作台,或使用团队管理员已经提供的实例。登录后确认账号可以创建并运行 Recorder 任务。在线服务功能、容量与费用按实际账户确认。
本篇采用可用工作台作为运行环境,不要求读者另外安装 Node、数据库与模型。自托管部署请按对应发布版本的官方部署说明建立环境;它与工作台内的录制是不同工作,不应混在第一次提取排错中。
在工作台中创建任务,选择 Extract 与 Recorder Mode,而不是 AI Mode。本文的字段捕获和分页不需要模型密钥。服务端浏览器必须能访问目标站;你电脑能访问某个内网页面,不能证明远端浏览器也能访问。
先人工记下两页的核对线索
打开总目录第一页与第二页,确认页面确实不同。各选两本可辨认的书,记录列表展示标题与价格,作为之后检查的线索。练习站的价格只是演示数据。
本例字段约定如下:
| 列名 | 读取对象 | 本轮限制 |
|---|---|---|
| title_display | 商品卡片中的展示标题 | 可能包含省略号,不能当作完整书名 |
| price_display | 同卡片的展示价格 | 保留货币符号,不先做金额运算 |
| availability_display | 同卡片库存文案 | 不自动变成实际库存数量 |
| detail_url | 标题链接地址,若当前捕获支持 | 用来回查,不代表访问过详情 |
如果界面只提供链接文本而非地址,就先不导出 detail_url,不能把“查看详情”或标题字符串改名伪装成来源 URL。保存本次入口地址与任务名称,作为结果的批次上下文。
创建录制并选择重复对象
在 Website address 填入:
<BOOKS_LIST_URL>点击 Start recording。录制页打开后,先确认它显示商品目录而非访问错误。然后选择 Capture List,点击一张商品卡片的重复区域,观察高亮与预览。
正确预览应该是一张卡片对应一行。若整页内容挤在一格,说明范围过大;若只看到单本书,说明没有识别重复对象;若标题和价格跨书混在一起,说明字段没有建立在同一个卡片内。
先把这个范围修好,再选各列。不要在错误列表上继续添加分页,否则只会重复采集错误结构。
配置字段并逐列核对
在列表捕获中选择标题、价格、库存对应的子元素,按实际列编辑能力命名为前面的字段。每添加一列,都检查第一本和中间一本:标题和金额必须来自同一个商品,而不是列表中第一个价格被复制到所有行。
完成后使用 Confirm Capture、Confirm 或 Finish Capture 等当前步骤提供的确认操作。不同界面状态的按钮可能不同,应以已选列表和预览结果为准,不是看见 Confirm 就随意结束任务。
列表标题在页面上可能被截断,显示成 A Light in the ...。这不是导出编码错误。若业务需要完整书名,检查当前捕获能否读取链接 title 属性;不能读取时,需要单独的详情任务或更适合的工具,不能让软件凭截断片段补全名称。
设置下一页与行数限制
在分页设置里选择 Click Next。检查自动检测高亮的是页面底部 next 按钮,而不是分类菜单或页码一。选错时使用 Choose Different Element,重新指向下一页。
选择最大行数 Custom,填入 40。当前练习站通常每页二十本,这个限制用于得到一个小批次;它是行数上限,不是“恰好两页”的通用配置。如果页面每页条数变化、行被去重或规则没命中,上限不能替你证明页数。
不要选 Click Load More 来操作普通下一页链接。加载更多是在同一列表追加,Click Next 则需要确认新页面或新内容。无限滚动又是另一种停止逻辑,不能仅因为都有新行就互相替换。
保存后独立运行一次
点击 Finish,为机器人填写能辨认的名称,例如 books-first-40,再 Save。没有有效 capture action 的空录制不能当成已保存提取任务。
回到任务列表运行保存的机器人。这个步骤要与录制预览分开:预览可能沿用当前页面状态,保存后运行则会按记录的步骤重建过程。
运行完成后打开结果中的 Captured Lists 或对应数据区域。先找你人工记下的第二页样本,再检查第一页样本。只看总行数,可能把第一页重复抓两次误认为覆盖了两页。
导出文件并做一次对账
在本次运行结果里打开 Download options,选择 JSON 或 CSV。JSON 更便于保持结构;CSV 可以用表格软件逐列检查。导出菜单与结果区说明见 Maxun 官方项目。
下面是整理后 CSV 的字段结构示意,不是实际运行下载:
title_display,price_display,availability_display
A Light in the ...,£51.77,In stock保留原始下载,另存一份工作副本。打开 CSV 时明确编码,并把编号等可能被自动转换的列设为文本。不要把表格软件自动改过的副本当成原始采集证据。
对账分四步:先核对列含义,再筛选空字段,再找前两页人工样本,最后检查重复。如果有可用详情 URL,优先按链接判断重复;没有稳定标识时,标题与价格相同只能作为疑似重复,不能据此自动删除。
若两本书的展示标题都被截断成相同文字,简单文本去重可能丢数据。因此“只有三十九行”不应立刻靠提高上限解决,需要先检查列的识别能力和去重含义。
出错时按阶段回查
录制窗口打不开。 确认账号功能、浏览器容量与目标可达性。自托管环境让管理员检查浏览器服务与后端连接;不要先修改列表字段。
预览只有一行。 重选重复卡片范围,确认高亮覆盖同类项。点击一个标题文本并不一定等于选中了整个列表。
预览有值,独立运行为空。 核对入口页、保存的捕获动作和页面就绪状态。查看当前运行错误,而不是只盯着上次预览;必要时在小范围重新捕获。
只有第一页。 检查最大行数是否仍为当前页条数,分页高亮是否正确,点击后是否真正出现新内容。重新运行后应看到第二页样本,才继续扩大任务。
价格在不同商品间错位。 确认字段相对同一重复对象提取。删除错列并重新选取,先抽查两行,不把整个表导出后手工对齐当作长期方案。
任务不停点击。 停止运行,检查下一页是否循环、内容是否不变化、最大行数是否合理。修正后用小上限重新执行,不靠长时间等待碰运气。
页面改版后列名没变但内容变了。 列名只表示输出标签,不能证明定位规则仍有效。拿人工样本重新检查字段位置与行关联。
先把一个公开列表录制成可重复的小任务,理解字段、分页和结果三者的关系,再增加登录、分类和详情步骤。无代码降低了配置门槛,数据含义与覆盖范围仍需要明确。
需要企业代理方案?
我们可根据目标站点、并发规模与稳定性目标提供定制方案。