如何用python进行大数据挖掘和分析

发布网友 发布时间：2022-04-21 23:19

我来回答

共5个回答

热心网友 时间：2022-04-07 13:39

毫不夸张地说，大数据已经成为任何商业交流中不可或缺的一部分。桌面和移动搜索向全世界的营销人员和公司以空前的规模提供着数据，并且随着物联网的到来，大量用以消费的数据还会呈指数级增长。这种消费数据对于想要更好地定位目标客户、弄懂人们怎样使用他们的产品或服务，并且通过收集信息来提高利润的公司来说无疑是个金矿。
筛查数据并找到企业真正可以使用的结果的角色落到了软件开发者、数据科学家和统计学家身上。现在有很多工具辅助大数据分析，但最受欢迎的就是Python。
为什么选择Python?
Python最大的优点就是简单易用。这个语言有着直观的语法并且还是个强大的多用途语言。这一点在大数据分析环境中很重要，并且许多企业内部已经在使用Python了，比如Google，*，迪士尼，和索尼梦工厂。还有，Python是开源的，并且有很多用于数据科学的类库。所以，大数据市场急需Python开发者，不是Python开发者的专家也可以以相当块速度学习这门语言，从而最大化用在分析数据上的时间，最小化学习这门语言的时间。
用Python进行数据分析之前，你需要从Continuum.io下载Anaconda。这个包有着在Python中研究数据科学时你可能需要的一切东西。它的缺点是下载和更新都是以一个单元进行的，所以更新单个库很耗时。但这很值得，毕竟它给了你所需的所有工具，所以你不需要纠结。
现在，如果你真的要用Python进行大数据分析的话，毫无疑问你需要成为一个Python开发者。这并不意味着你需要成为这门语言的大师，但你需要了解Python的语法，理解正则表达式，知道什么是元组、字符串、字典、字典推导式、列表和列表推导式——这只是开始。
各种类库
当你掌握了Python的基本知识点后，你需要了解它的有关数据科学的类库是怎样工作的以及哪些是你需要的。其中的要点包括NumPy，一个提供高级数*算功能的基础类库，SciPy，一个专注于工具和算法的可靠类库，Sci-kit-learn，面向机器学习，还有Pandas，一套提供操作DataFrame功能的工具。
除了类库之外，你也有必要知道Python是没有公认的最好的集成开发环境(IDE)的，R语言也一样。所以说，你需要亲手试试不同的IDE再看看哪个更能满足你的要求。开始时建议使用IPython Notebook，Rodeo和Spyder。和各种各样的IDE一样，Python也提供各种各样的数据可视化库，比如说Pygal，Bokeh和Seaborn。这些数据可视化工具中最必不可少的就是Matplotlib，一个简单且有效的数值绘图类库。
所有的这些库都包括在了Anaconda里面，所以下载了之后，你就可以研究一下看看哪些工具组合更能满足你的需要。用Python进行数据分析时你会犯很多错误，所以得小心一点。一旦你熟悉了安装设置和每种工具后，你会发现Python是目前市面上用于大数据分析的最棒的平台之一。
希望能帮到你！

热心网友 时间：2022-04-07 14:57

查无此人233
查无此人233
查无此人233

热心网友 时间：2022-04-07 16:32

理论基础可以先找些数据挖掘的书看，想用哪个算法了再去网上搜如何用python实现该算法。
如果是想对自然语言进行处理，这里有本入门书：
Natural Language Processing with Python

热心网友 时间：2022-04-07 18:23

首先要有一定量的数据，可以使用网络端的爬虫，进行数据的爬取，然后调用相关的NLP库、科学计算库，数据挖掘库进行相关的数据爬取。可以用相关可视化工具进行数据的分析操作。

热心网友 时间：2022-04-07 20:48

1、Pandas库的操作
Panda是数据分析特别重要的一个库，我们要掌握以下三点：
1）pandas 分组计算；
2）pandas 索引与多重索引；
索引比较难，但是却是非常重要的
3）pandas 多表操作与数据透视表
2、numpy数值计算
numpy数据计算主要的应用是在数据挖掘，对于以后的机器学习，深度学习，这也是一个必须掌握的库，我们要掌握以下内容：
1）Numpy array理解；
2）数组索引操作；
3）数组计算；
4）Broadcasting(线性代数里面的知识)
3、数据可视化－matplotlib与seaborn
1）Matplotib语法
python最基本的可视化工具就是matplotlib。我们咋一看Matplotlib与matlib有点像，我们要搞清楚二者的关系是什么，这样我们学习起来才会比较轻松。
2）seaborn的使用
seaborn是一个非常漂亮的可视化工具。
3）pandas绘图功能
我们说过pandas是做数据分析的，但它也提供了一些绘图的API。
4、数据挖掘入门
这部分是最难也是最有意思的一部分，要掌握以下几个部分：
1）机器学习的定义
在这里跟数据挖掘先不做区别
2）代价函数的定义
3）Train/Test/Validate
4) Overfitting的定义与避免方法
5、数据挖掘算法
数据挖掘发展到现在，算法已经非常多了，下面只需掌握最简单的，最核心的，最常用的算法；
1）最小二乘算法；
2）梯度下降；
3）向量化；
4）极大似然估计；
5）Logistic Regression
6) Decision Tree
7) RandomForesr
8) XGBoost
6、数据挖掘实战
通过机器学习里面最著名的库scikit-learn来进行模型的理解。
这还仅仅是开始，在通往数据挖掘师与数据科学家的道路上，我们还要学习文本处理与自然语言的知识、Linux与Spark的知识、深度学习的知识等等，我们要保持持续的兴趣来学习数据挖掘。