页面类型
首页和 news、newest、best、ask、show、jobs 等列表路径,以及 item 讨论页。
可保留什么
文章标题、外部链接、排名、分数、作者、日期、讨论链接与可见评论数。item 页面可保留正文,以及含层级和父子关系的已加载评论。
所有字段都取决于当前页面标记实际提供的内容。媒体以来源 URL 表示,不下载图片或视频文件。
实际采集步骤
- 用列表发现内容,再为重要文章打开 item 讨论。
- 加载需要采集的讨论页;链接指向的文章属于独立来源。
- 导出列表和选中讨论标签页。JSON 用于评论树,Markdown 用于阅读。
阅读文件时也要看边界
外部文章链接不等于文章正文。适配器不会点击 More 翻页或展开折叠讨论。没有可靠绝对时间时,相对日期保留为原文。
导出以页面已加载的内容为准。普通导出不会自动滚动、翻页、展开回复、抓取链接或获取隐藏数据。使用文件前,请检查预览和提取警告。
站点改版可能影响提取质量。请检查预览和提取警告,不要假设每条线上路径都通过了当前人工验证。