python爬虫爬取的数据可以做什么

发布网友发布时间：2022-03-05 01:54

共2个回答

热心网友时间：2022-03-05 03:23

爬虫的概念是，爬取网上能看到的数据，也就是只要网上存在的，通过浏览器可以看到的数据。爬虫都可以爬取。爬虫爬取的原理就是伪装成浏览器，然后进行爬取操作

哪些数据你需要你就可以爬取。比如爬取公司竞争对手的商业数据，爬取电影，音乐，图片等等的。只要你希望得到的，前提浏览器可以访问的都可以爬取

热心网友时间：2022-03-05 04:41

外部数据的获取，主要有两种方式：
第一种就是获取外部公开的数据集，比如一些科研机构、企业、ZF会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。
第二种就是利用python爬虫从网络中爬取，比如从招聘网站获取某个职位的招聘信息，租房网站获取某一地区的租房信息，电商网站获取某个商品的品论信息等等，基于这些爬取的数据，我们可以做数据分析。