运营小白必会的爬虫工具使用教程

运营小白必会的爬虫工具使用教程

作为一名合格的运营,很多时候需要掌握数据分析能力。⽐如你新进到⼀家公司做新媒体内容编辑,那你需要盘点公司已有的内容资产,避免重复⽣产内容。这时候就需要把⽹页上的数据给扒下来,放在⼀起才会⼀⽬了然。从⽹页上爬取数据,最好⽤的⽅法当然是爬⾍⼯具啦~本文将为手把手教大家如何使用Web Scraper爬取数据,帮助运营小白快速上手爬虫工具!

第一步:下载 Web Scraper

Web Scraper是Chrome浏览器上的⼀个插件,你需要翻墙进⼊Chrome应⽤商店,下载Web Scraper插件。

第二步:打开Web Scraper

先打开⼀个你想爬数据的⽹页,⽐如我想爬今⽇头条上「吴晓波频道」这个账户的⽂章标题、时间、 评论数,那我就先打开它,再⼀⼀进⾏操作。然后⽤快捷键 Ctrl + Shift + I / F12 打开 Web Scraper。

第三步:新建⼀个 Sitemap

点击Create New Sitemap,⾥⾯有两个选项,import sitemap是指导⼊⼀个现成的sitemap,运营⼩⽩⼀般没有现成的,所以⼀般不选这个,选create sitemap就好。然后进⾏这两个操作:

Sitemap Name:代表你这个Sitemap是适⽤于哪⼀个⽹页的,所以你可以根据⽹页来⾃命名,不过需要使⽤英⽂字母,⽐如我抓的是今⽇头条的数据,那我就⽤toutiao来命名;Sitemap URL:把⽹页链接复制到Star URL这⼀栏,⽐如图⽚⾥我把「吴晓波频道」的主页链接复制到了这⼀栏。

第四步:设置这个Sitemap

整个Web Scraper的抓取逻辑是这样:设置⼀级Selector,选定定抓取范围;在⼀级Selector 下设置⼆级Selector,选定抓取字段,然后抓取。

再举个例⼦,假如你要获取福建⼈的姓名、性别和年龄这三个要素,那么你得这么做:⾸先要定位到福建省,然后再在福建省⾥⾯去定位姓名、性别、年龄。在这⾥,⼀级Selector表⽰你要在中国这个⼤的国家圈出福建省,⼆级Selector 表⽰你要在福建省的⼈⼜中圈定姓名、性别、年龄这三个要素。对于⽂章⽽⾔,⼀级Selector就是你要把这⼀块⽂章的要素圈出来,这个要素可能包含了标题、作者、发布时间、评论数等等,然后我们再在⼆级Selector 中挑出我们要的要素,⽐如标题、作者、阅读数。

(1)点击Add new selector创建⼀级Selector,按照以下步骤操作:

a.输⼊id : id代表你抓取的整个范围,⽐如这⾥是⽂章,我们可以命名为 126 wuxiaobo-articles;

b.选择 Type : type 代表你抓取的这部分的类型,⽐如元素/⽂本/链接,因为这个是整个⽂章要素范围选取,我们需要⽤Element来先整体选取(如果这个⽹页需要滑动加载更多,那就选Element Scroll Down);

c.勾选Multiple :勾选 Multiple 前⾯的⼩框,因为你要选的是多个元素⽽不是单个元素,当我们勾选的时候,爬⾍插件会帮助我们识别多篇同类的⽂章;

d.保留设置:其余未提及部分保留默认设置。

(2)点击select选择范围,按照以下步骤操作:

a.选择范围:⽤⿏标选择你要爬取数据的范围,绿⾊是待选区域,⽤⿏标点击后变为红⾊,才是选中了这块区域;

b.多选:不要只选⼀个,下⾯的也要选,否则爬出来的数据也只有⼀⾏;

c.完成选择: 记得点Done Selecting;

d.保存:点击Save Selector。

(3)设置好了这个⼀级的Selector之后,点进去设置⼆级的Selector,按照以下步骤操作:

a.新建Selector:点击Add new selector ;

b.输⼊id :id代表你抓取的是哪个字段,所以可以取该字段的英⽂,⽐如我要选「作者」,我就写「writer」;

c.选择Type:选Text ,因为你要抓取的是⽂本;

d.勿勾选Multiple:不要勾选Multiple前⾯的⼩框,因为我们在这⾥要抓取的是单个元素; 保留设置:其余未提及部分保留默认设置。

(4)点击select,再点击你要爬取的字段,按照以下步骤作:

a.选择字段:这⾥爬取的字段是单个的,⽤⿏标点击该字段即可选定,⽐如要爬标题,那就⽤⿏标点击某篇⽂章的标题,当字段所在区域变红即为选中;

c.完成选择:记得点 Done Selecting ;

d.保存:点击 Save Selector 。

(5)重复以上操作,指导选完你想爬去的字段。

第五步:爬取数据

之所以说Web Scraper是运营小白必会的爬⾍⼯具,就是因为只需要设置完所有的Selector,就可以开始爬数据了,怎么样是不是很简单?那么怎么开始爬数据呢?只需要⼀个简单的操作:点击 Scrape ,然后点 Start Scraping , 会弹出⼀个⼩窗,然后⾟勤的⼩爬⾍就开始⼯作了。你会得到⼀个列表,上⾯有你想要的所有数据。

以上就是运营小白必会的爬虫工具使用教程,怎么样,你是不是已经快速上⼿Web Scraper的所有操作过程了?相信即使是不会编程语言的小白,也可以掌握在5分钟之内爬取数据的爬虫工具!

特别申明:本站的主旨在于收集互联网运营相关的干货知识,给运营小伙伴提供便利。网站所收集到的公开内容均来自于互联网或用户投稿,并不代表本站认同其观点,也不对网站内容的真实性负责,如有侵权,请联系站长删除,转载请注明出处:运营小白必会的爬虫工具使用教程:https://www.zcly.cn/122828.html。
(0)
运营狗运营狗官方
上一篇 2023年7月27日
下一篇 2023年7月27日

猜你喜欢

QQ:1124602020
微信:vl54120
备注:周一至周五全天在线,周末可能不在线,另外联系时,请告知来意。

公众号
交流群
运营狗会员,开通可享海量资源与多项权益,点击了解详情