wordpress程序ctspaider自动采集插件

  • 内容
  • 相关

说明

首先说下这个采集插件有啥用,相信不少朋友用wordpress做博客,写博文更新嫌弃太慢,那么你可以用这个插件,花个半天配置好,以后就不用操心了,采集一下几百篇文章来了〔做原创的博主可以略过〕

使用教程:如何安装

首先去长腿蜘蛛-CTspider官网下载插件

然后到WordPress插件页面点击上传,安装启用即可。
如果使用FTP上传,请使用二进制上传协议。
如何授权

登录长腿蜘蛛-CTspider官网注册账号(PS:注册账号需要邮箱验证激活码,请认真填写邮箱账号)。

点击用户中心->添加授权域名(PS:目前每位用户可以授权3个域名)。
得到授权码后,点击CTspider插件->系统配置->授权码配置->填入授权码->保存配置->验证授权

最近有很多网友问:为什么点击采集后显示没有任何数据只有两种可能

采集规则没有设置好。
如果确定采集规则没问题,请查看当前采集的网址是否是Ajax动态渲染加载(PS:目前长腿蜘蛛-CTspider 不支持动态渲染加载采集)
新建项目 / 基本配置

接下来我们详细说下如何采集一个项目

我们使用新浪科技为示例:

首先基本配置

任务名称:新浪科技(PS:自定义即可)
更新时间:默认60分钟(PS:当前任务60分钟自动执行一次)
字符集:默认选项就可以(PS:如果出现乱码情况,请针对当前web网页字符集选择即可)
随机IP:开启(PS:开启随机IP会在每次采集的时候自动更换IP,减少服务器IP被封的几率)
多线程采集:开启 (PS:开启后可提高采集速度)
多线程数量:默认10(PS:根据自己服务器配置酌情使用)

列表设置

列表URL: http://roll.tech.sina.com.cn/internet_all/index.shtml (PS:如需多个,可换行添加)
列表区域选择器:.contList>ul>li (PS:【完全和CSS选择器用法一样】【可填,可不填】如果采集当前页面有多个相同列表DOM节点就要填写,确保采集精准度)用谷歌浏览器右键审查元素,可以看出当前列表数据都在.contList>ul>li下面

列表缩略图:如果有图可以直接填写当前缩略图CSS选择器
文章网址匹配:a (PS:由于上面区域选择器已经定位,我们可以直接填入a标签即可,如果区域选择器没有定位则设置:.contList li a 或者.contList a 具体根据你采集页面dom结构自己分析)
添加来源网址到自定义字段:source_url(PS:【自定义】可开启或不开启,设置后会在每天文章添加一个自定义字段source_url并且会把当前采集到网址链接赋值给该字段用于前台调用显示)如: get_post_meta('source_url') 可调用该字段的值。
点击列表测试可以查看当前项目列表配置情况

标题匹配规则:h1

文章内容设置:#article_content
可以看到标题在h1标签下,也可使用.main-title来获取标题

正文内容看上去有好多 class和id 如果有id属性尽量采用id,毕竟id是唯一性,定位精准。

我们还可以增加规则来采集TAG标签

长腿蜘蛛-CTspider 提供了6总规则添加采集,并且可以自定义字段规则(PS:自定义字段规则可以添加多个)

点击采集测试

采集结果完美呈现(原文:标题:TAG)正确显示

但是我们发现结果中出现了a链接和一些多于的css属性和id属性还有span标签

我们可以利用长腿蜘蛛-CTspider强大的内容过滤模块进行数据清洗工作

内容过滤

首先删除数据中所有a链接但不删除a标签内容
删除数据中span标签并且也不删除内容
删除数据中无用的class属性和id属性
最后在进行采集测试(得到纯净的数据)
-------------------注意!--------------------
这个是官网,里面联系方式与我本人无关,这个插件完全免费!
该附件已被管理员隐藏 您需要回复后并刷新才可以下载
如果你觉得雨滴资源网对你有帮助的话,可以小小的打赏一下小站,用于维持本站的运营!

本文标签:

版权声明:雨滴资源网内容来源于互联网,如果有侵权内容、不妥之处,请第一时间联系我们删除。敬请谅解!

本文链接:wordpress程序ctspaider自动采集插件 - https://www.yudzy.com/1395.html

失效提示:此文更新于2019-11-26,如果文章内容或图片资源失效,请留言反馈,客服会及时处理,谢谢!

发表评论

评论

2条评论
  1. avatar

    子夜专人 Lv.3 Chrome 78.0.3904.108 Chrome 78.0.3904.108 Windows Windows 回复

    表情 写得好好哟,我要给你生猴子!

    河南省鹤壁市 移动

    1. avatar

      maya Lv.6 Chrome 78.0.3904.108 Chrome 78.0.3904.108 Windows Windows 回复

      谢谢分享 感谢

      福建省泉州市 移动