如何管理python爬虫数据多少?

发布网友 发布时间：2024-09-27 01:19

我来回答

共1个回答

热心网友 时间：2024-10-25 16:59

导读：今天首席CTO笔记来给各位分享关于如何管理python爬虫数据多少的相关内容，如果能碰巧解决你现在面临的问题，别忘了关注本站，现在开始吧！

如何用Python进行大数据挖掘和分析？快速入门路径图

大数据无处不在。在时下这个年代，不管你喜欢与否，在运营一个成功的商业的过程中都有可能会遇到它。

什么是大数据？

大数据就像它看起来那样——有大量的数据。单独而言，你能从单一的数据获取的洞见穷其有限。但是结合复杂数学模型以及强大计算能力的TB级数据，却能创造出人类无法制造的洞见。大数据分析提供给商业的价值是无形的，并且每天都在超越人类的能力。

大数据分析的第一步就是要收集数据本身，也就是众所周知的“数据挖掘”。大部分的企业处理着GB级的数据，这些数据有用户数据、产品数据和地理位置数据。今天，我将会带着大家一起探索如何用Python进行大数据挖掘和分析？

为什么选择Python?

Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，YouTube，迪士尼等。还有，Python是开源的，并且有很多用于数据科学的类库。

现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。

数据分析流程

一般可以按“数据获取-数据存储与提取-数据预处理-数据建模与分析-数据可视化”这样的步骤来实施一个数据分析项目。按照这个流程，每个部分需要掌握的细分知识点如下：

数据获取：公开数据、Python爬虫

外部数据的获取方式主要有以下两种。

第一种是获取外部的公开数据集，一些科研机构、企业、政府会开放一些数据，你需要到特定的网站去下载这些数据。这些数据集通常比较完善、质量相对较高。

另一种获取外部数据的方式就是爬虫。

比如你可以通过爬虫获取招聘网站某一职位的招聘信息，爬取租房网站上某城市的租房信息，爬取豆瓣评分评分最高的电影列表，获取知乎点赞排行、网易云音乐评论排行列表。基于互联网爬取的数据，你可以对某个行业、某种人群进行分析。

在爬虫之前你需要先了解一些Python的基础知识：元素（列表、字典、元组等）、变量、循环、函数………

以及，如何用Python库（urllib、BeautifulSoup、requests、scrapy）实现网页爬虫。

掌握基础的爬虫之后，你还需要一些高级技巧，比如正则表达式、使用cookie信息、模拟用户登录、抓包分析、搭建代理池等等，来应对不同网站的反爬虫限制。

数据存取：SQL语言

在应对万以内的数据的时候，Excel对于一般的分析没有问题，一旦数据量大，就会力不从心，数据库就能够很好地解决这个问题。而且大多数的企业，都会以SQL的形式来存储数据。

SQL作为最经典的数据库工具，为海量数据的存储与管理提供可能，并且使数据的提取的效率大大提升。你需要掌握以下技能：

提取特定情况下的数据

数据库的增、删、查、改

数据的分组聚合、如何建立多个表之间的联系

数据预处理：Python（pandas）

很多时候我们拿到的数据是不干净的，数据的重复、缺失、异常值等等，这时候就需要进行数据的清洗，把这些影响分析的数据处理好，才能获得更加精确地分析结果。

对于数据预处理，学会pandas（Python包）的用法，应对一般的数据清洗就完全没问题了。需要掌握的知识点如下：

选择：数据访问

缺失值处理：对缺失数据行进行删除或填充

重复值处理：重复值的判断与删除

异常值处理：清除不必要的空格和极端、异常数据

相关操作：描述性统计、Apply、直方图等

合并：符合各种逻辑关系的合并操作

分组：数据划分、分别执行函数、数据重组

Reshaping：快速生成数据透视表

概率论及统计学知识

需要掌握的知识点如下：

基本统计量：均值、中位数、众数、百分位数、极值等

其他描述性统计量：偏度、方差、标准差、显著性等

其他统计知识：总体和样本、参数和统计量、ErrorBar

概率分布与假设检验：各种分布、假设检验流程

其他概率论知识：条件概率、贝叶斯等

有了统计学的基本知识，你就可以用这些统计量做基本的分析了。你可以使用Seaborn、matplotlib等（python包）做一些可视化的分析，通过各种可视化统计图，并得出具有指导意义的结果。

Python数据分析

掌握回归分析的方法，通过线性回归和逻辑回归，其实你就可以对大多数的数据进行回归分析，并得出相对精确地结论。这部分需要掌握的知识点如下：

回归分析：线性回归、逻辑回归

基本的分类算法：决策树、随机森林……

基本的聚类算法：k-means……

特征工程基础：如何用特征选择优化模型

调参方法：如何调节参数优化模型

Python数据分析包：scipy、numpy、scikit-learn等

在数据分析的这个阶段，重点了解回归分析的方法，大多数的问题可以得以解决，利用描述性的统计分析和回归分析，你完全可以得到一个不错的分析结论。

当然，随着你实践量的增多，可能会遇到一些复杂的问题，你就可能需要去了解一些更高级的算法：分类、聚类。

然后你会知道面对不同类型的问题的时候更适合用哪种算法模型，对于模型的优化，你需要去了解如何通过特征提取、参数调节来提升预测的精度。

你可以通过Python中的scikit-learn库来实现数据分析、数据挖掘建模和分析的全过程。

总结

其实做数据挖掘不是梦，5步就能让你成为一个Python爬虫高手!

如何用python爬虫抓取金融数据

获取数据是数据分析中必不可少的一部分，而网络爬虫是是获取数据的一个重要渠道之一。鉴于此，我拾起了Python这把利器，开启了网络爬虫之路。

本篇使用的版本为python3.5，意在抓取证券之星上当天所有A股数据。程序主要分为三个部分：网页源码的获取、所需内容的提取、所得结果的整理。

一、网页源码的获取

很多人喜欢用python爬虫的原因之一就是它容易上手。只需以下几行代码既可抓取大部分网页的源码。

importurllib.request

url='ar.com/stock/ranklist_a_3_1_1.html'?#目标网址headers={"User-Agent":"Mozilla/5.0(WindowsNT10.0;WOW64)"}?#伪装浏览器请求报头request=urllib.request.Request(url=url,headers=headers)?#请求服务器response=urllib.request.urlopen(request)?#服务器应答content=response.read().decode('gbk')?#以一定的编码方式查看源码print(content)?#打印页面源码

虽说抓一页的源码容易，不过在一个网站内大量抓取网页源码却经常遭到服务器拦截，顿时感觉世界充满了恶意。于是我开始研习突破反爬虫限制的功法。

1.伪装流浪器报头

很多服务器通过浏览器发给它的报头来确认是否是人类用户，所以我们可以通过模仿浏览器的行为构造请求报头给服务器发送请求。服务器会识别其中的一些参数来识别你是否是人类用户，很多网站都会识别User-Agent这个参数，所以请求头最好带上。有一些警觉性比较高的网站可能还会通过其他参数识别，比如通过Accept-Language来辨别你是否是人类用户，一些有防盗链功能的网站还得带上referer这个参数等等。

2.随机生成UA

证券之星只需带User-Agent这个参数就可以抓取页面信息了，不过连续抓取几页就被服务器阻止了。于是我决定每次抓取数据时模拟不同的浏览器发送请求，而服务器通过User-Agent来识别不同浏览器，所以每次爬取页面可以通过随机生成不同的UA构造报头去请求服务器，

3.减慢爬取速度

虽然模拟了不同浏览器爬取数据，但发现有的时间段可以爬取上百页的数据，有时候却只能爬取十来页，看来服务器还会根据你的访问的频率来识别你是人类用户还是网络爬虫。所以我每抓取一页都让它随机休息几秒，加入此句代码后，每个时间段都能爬取大量股票数据了。

4.使用代理IP

天有不测风云，程序在公司时顺利测试成功，回寝室后发现又只能抓取几页就被服务器阻止了。惊慌失措的我赶紧询问度娘，获知服务器可以识别你的IP，并记录此IP访问的次数，可以使用高匿的代理IP，并在抓取的过程中不断的更换，让服务器无法找出谁是真凶。此功还未修成，欲知后事如何，请听下回分解。

5.其他突破反爬虫限制的方法

很多服务器在接受浏览器请求时会发送一个cookie文件给浏览器，然后通过cookie来跟踪你的访问过程，为了不让服务器识别出你是爬虫，建议最好带上cookie一起去爬取数据；如果遇上要模拟登陆的网站，为了不让自己的账号被拉黑，可以申请大量的账号，然后再爬入，此处涉及模拟登陆、验证码识别等知识，暂时不再深究...总之，对于网站主人来说，有些爬虫确实是令人讨厌的，所以会想出很多方法限制爬虫的进入，所以我们在强行进入之后也得注意些礼仪，别把人家的网站给拖垮了。

二、所需内容的提取

获取网页源码后，我们就可以从中提取我们所需要的数据了。从源码中获取所需信息的方法有很多，使用正则表达式就是比较经典的方法之一。我们先来看所采集网页源码的部分内容。

为了减少干扰，我先用正则表达式从整个页面源码中匹配出以上的主体部分，然后从主体部分中匹配出每只股票的信息。代码如下。

pattern=re.compile('tbody[\s\S]*/tbody')?

body=re.findall(pattern,str(content))?#匹配tbody和/tbody之间的所有代码pattern=re.compile('(.*?)')

stock_page=re.findall(pattern,body[0])?#匹配和之间的所有信息

其中compile方法为编译匹配模式，findall方法用此匹配模式去匹配出所需信息，并以列表的方式返回。正则表达式的语法还挺多的，下面我只罗列所用到符号的含义。

语法??说明?

.??匹配任意除换行符“\n”外的字符?

*??匹配前一个字符0次或无限次?

？??匹配前一个字符0次或一次?

\s??空白字符：[空格\t\r\n\f\v]?

\S??非空白字符：[^\s]?

[...]??字符集，对应的位置可以是字符集中任意字符?

(...)??被括起来的表达式将作为分组，里面一般为我们所需提取的内容?

正则表达式的语法挺多的，也许有大牛只要一句正则表达式就可提取我想提取的内容。在提取股票主体部分代码时发现有人用xpath表达式提取显得更简洁一些，看来页面解析也有很长的一段路要走。

三、所得结果的整理

通过非贪婪模式(.*?)匹配和之间的所有数据，会匹配出一些空白字符出来，所以我们采用如下代码把空白字符移除。

stock_last=stock_total[:]#stock_total：匹配出的股票数据fordatainstock_total:?#stock_last：整理后的股票数据

ifdata=='':

stock_last.remove('')

最后，我们可以打印几列数据看下效果，代码如下

print('代码','\t','简称','?','\t','最新价','\t','涨跌幅','\t','涨跌额','\t','5分钟涨幅')foriinrange(0,len(stock_last),13):????#网页总共有13列数据

print(stock_last[i],'\t',stock_last[i+1],'','\t',stock_last[i+2],'?','\t',stock_last[i+3],'?','\t',stock_last[i+4],'?','\t',stock_last[i+5])

把car_list函数里的for循环去掉，然后直接returnlist_text即可。只有“第一个字”就是因为这个for循环。这个list_text就已经是汽车名称的列表了，如果再遍历这个列表的话，每个item就是字符串类型的单个汽车名称，所以你的item[0]就只能是第一个字了呗~

1、使用异步提高并发

2、分布式爬虫策略

3、优化爬虫自身解析html的效率（正则匹配与bs4的选择）

一、首先理解下面几个函数

设置变量length()函数char_length()replace()函数max()函数

1.1、设置变量set@变量名=值

set@address='中国-山东省-聊城市-莘县';select@address

1.2、length()函数char_length()函数区别

selectlength('a')

,char_length('a')

,length('中')

,char_length('中')

1.3、replace()函数和length()函数组合

set@address='中国-山东省-聊城市-莘县';select@address

,replace(@address,'-','')asaddress_1

,length(@address)aslen_add1

,length(replace(@address,'-',''))aslen_add2

,length(@address)-length(replace(@address,'-',''))as_count

etl清洗字段时候有明显分割符的如何确定新的数据表增加几个分割出的字段

计算出com_industry中最多有几个-符以便确定增加几个字段最大值+1为可以拆分成的字段数此表为3因此可以拆分出4个行业字段也就是4个行业等级

selectmax(length(com_industry)-length(replace(com_industry,'-','')))as_max_count

frometl1_socom_data

1.4、设置变量substring_index()字符串截取函数用法

set@address='中国-山东省-聊城市-莘县';

select

substring_index(@address,'-',1)aschina,

substring_index(substring_index(@address,'-',2),'-',-1)asprovince,

substring_index(substring_index(@address,'-',3),'-',-1)ascity,

substring_index(@address,'-',-1)asdistrict

1.5、条件判断函数casewhen

casewhenthenwhenthenelse值endas字段名

selectcasewhen89101then'大于'else'小于'endasbetl1_socom_data

二、kettle转换etl1清洗

首先建表步骤在视频里

字段索引没有提索引算法建议用BTREE算法增强查询效率

2.1.kettle文件名：trans_etl1_socom_data

2.2.包括控件：表输入表输出

2.3.数据流方向：s_socom_dataetl1_socom_data

kettle转换1截图

2.4、表输入2.4、SQL脚本初步清洗com_district和com_industry字段

selecta.*,casewhencom_districtlike'%业'orcom_districtlike'%织'orcom_districtlike'%育'thennullelsecom_districtendascom_district1

,casewhencom_districtlike'%业'orcom_districtlike'%织'orcom_districtlike'%育'thenconcat(com_district,'-',com_industry)elsecom_industryendascom_industry_total

,replace(com_addr,'地址：','')ascom_addr1

,replace(com_phone,'电话：','')ascom_phone1

,replace(com_fax,'传真：','')ascom_fax1

,replace(com_mobile,'手机：','')ascom_mobile1

,replace(com_url,'网址：','')ascom_url1

,replace(com_email,'邮箱：','')ascom_email1

,replace(com_contactor,'联系人：','')ascom_contactor1

,replace(com_emploies_nums,'公司人数：','')ascom_emploies_nums1

,replace(com_reg_capital,'注册资金：万','')ascom_reg_capital1

,replace(com_type,'经济类型：','')ascom_type1

,replace(com_product,'公司产品：','')ascom_product1

,replace(com_desc,'公司简介：','')ascom_desc1froms_socom_dataasa

2.5、表输出

表输出设置注意事项

注意事项:

①涉及爬虫增量操作不要勾选裁剪表选项

②数据连接问题选择表输出中表所在的数据库

③字段映射问题确保数据流中的字段和物理表的字段数量一致对应一致

三、kettle转换etl2清洗

首先建表增加了4个字段演示步骤在视频里

字段索引没有提索引算法建议用BTREE算法增强查询效率

主要针对etl1生成的新的com_industry进行字段拆分清洗

3.1.kettle文件名：trans_etl2_socom_data

3.2.包括控件：表输入表输出

3.3.数据流方向：etl1_socom_dataetl2_socom_data

注意事项:

①涉及爬虫增量操作不要勾选裁剪表选项

②数据连接问题选择表输出中表所在的数据库

③字段映射问题确保数据流中的字段和物理表的字段数量一致对应一致

kettle转换2截图

3.4、SQL脚本对com_industry进行拆分完成所有字段清洗注册资金字段时间关系没有进行细致拆解调整代码即可

selecta.*,case

#行业为''的值置为空whenlength(com_industry)=0thennull

#其他的取第一个-分隔符之前elsesubstring_index(com_industry,'-',1)?endascom_industry1,case

whenlength(com_industry)-length(replace(com_industry,'-',''))=0thennull

#'交通运输、仓储和邮政业-'这种值行业2也置为nullwhenlength(com_industry)-length(replace(com_industry,'-',''))=1andlength(substring_index(com_industry,'-',-1))=0thennullwhenlength(com_industry)-length(replace(com_industry,'-',''))=1?thensubstring_index(com_industry,'-',-1)elsesubstring_index(substring_index(com_industry,'-',2),'-',-1)endascom_industry2,case

whenlength(com_industry)-length(replace(com_industry,'-',''))=1thennullwhenlength(com_industry)-length(replace(com_industry,'-',''))=2then?substring_index(com_industry,'-',-1)elsesubstring_index(substring_index(com_industry,'-',3),'-',-1)endascom_industry3,case

whenlength(com_industry)-length(replace(com_industry,'-',''))=2thennullelsesubstring_index(com_industry,'-',-1)endascom_industry4frometl1_socom_dataasa

四、清洗效果质量检查

4.1爬虫数据源数据和网站数据是否相符

如果本身工作是爬虫和数据处理在一起处理，抓取的时候其实已经判断，此步骤可以省略，如果对接上游爬虫同事，这一步首先判断，不然清洗也是无用功，一般都要求爬虫同事存储请求的url便于后面数据处理查看数据质量

4.2计算