不用再找了！探索性数据分析方法这篇或许是最全的了！

新闻中心 NEWS CENTER

您当前位置：首页 > 新闻中心 > 行业资讯

不用再找了！探索性数据分析方法这篇或许是最全的了！

2023-03-20

浏览次数：次

返回列表

欢迎关注 @Python与数据挖掘，专注 Python、数据分析、数据挖掘、好玩工具

探索性数据分析是数据模型开发和数据集研究的重要组成部分之一。在拿到一个新数据集时首先就需要花费大量时间进行EDA来研究数据集中内在的信息。

自动化的EDA Python包可以用几行Python代码执行EDA。在本文中，我将整理了10个可以自动执行EDA并生成有关数据的见解的Python包，看看他们都有什么功能，喜欢记得收藏、关注、点赞。

注：完整资料、技术交流，文末获取。

1、D-Tale

D-Tale 使用Flask作为后端、React前端并且可以与ipython notebook和终端无缝集成。D-Tale可以支持Pandas的DataFrame, Series, MultiIndex, DatetimeIndex和RangeIndex。

Github:https://github.com/man-group/dtale

import dtale import pandas as pd dtale.show(pd.read_csv("titanic.csv"))

D-Tale库用一行代码就可以生成一个报告，其中包含数据集、相关性、图表和热图的总体总结，并突出显示缺失的值等。D-Tale还可以为报告中的每个图表进行分析，上面截图中我们可以看到图表是可以进行交互操作的。

2、Pandas-Profiling

Pandas-Profiling可以生成Pandas DataFrame的概要报告。panda-profiling扩展了pandas DataFrame df.profile_report()，并且在大型数据集上工作得非常好，它可以在几秒钟内创建报告。

Github:https://github.com/ydataai/pandas-profiling

#Install the below libaries before importing import pandas as pd from pandas_profiling import ProfileReport #EDA using pandas-profiling profile = ProfileReport(pd.read_csv(titanic.csv), explorative=True) #Saving results to a HTML file profile.to_file("output.html")

3、Sweetviz

Sweetviz是一个开源的Python库，只需要两行Python代码就可以生成漂亮的可视化图，将EDA(探索性数据分析)作为一个HTML应用程序启动。Sweetviz包是围绕快速可视化目标值和比较数据集构建的。

Github:https://github.com/fbdesignpro/sweetviz

import pandas as pd import sweetviz as sv #EDA using Autoviz sweet_report = sv.analyze(pd.read_csv("titanic.csv")) #Saving results to HTML file sweet_report.show_html(sweet_report.html)

Sweetviz库生成的报告包含数据集、相关性、分类和数字特征关联等的总体总结。

4、AutoViz

Autoviz包可以用一行代码自动可视化任何大小的数据集，并自动生成HTML、bokeh等报告。用户可以与AutoViz包生成的HTML报告进行交互。

github:https://github.com/AutoViML/AutoViz

import pandas as pd from autoviz.AutoViz_Class import AutoViz_Class #EDA using Autoviz autoviz = AutoViz_Class().AutoViz(train.csv)

5、Dataprep

Dataprep是一个用于分析、准备和处理数据的开源Python包。DataPrep构建在Pandas和Dask DataFrame之上，可以很容易地与其他Python库集成。

DataPrep的运行速度这10个包中最快的，他在几秒钟内就可以为Pandas/Dask DataFrame生成报告。

Github:https://github.com/sfu-db/dataprep

from dataprep.datasets import load_dataset from dataprep.eda import create_report df = load_dataset("titanic.csv") create_report(df).show_browser()

6、Klib

klib是一个用于导入、清理、分析和预处理数据的Python库。

github:https://github.com/akanz1/klib

import klib import pandas as pd df = pd.read_csv(DATASET.csv) klib.missingval_plot(df) klib.corr_plot(df_cleaned, annot=False)

klib.dist_plot(df_cleaned[Win_Prob]) klib.cat_plot(df, figsize=(50,15))

klibe虽然提供了很多的分析函数，但是对于每一个分析需要我们手动的编写代码，所以只能说是半自动化的操作，但是如果我们需要更定制化的分析，他是非常方便的。

7、Dabl

Dabl不太关注单个列的统计度量，而是更多地关注通过可视化提供快速概述，以及方便的机器学习预处理和模型搜索。

dabl中的Plot()函数可以通过绘制各种图来实现可视化，包括:

目标分布图散点图线性判别分析

github:https://github.com/dabl/dabl

import pandas as pd import dabl df = pd.read_csv("titanic.csv") dabl.plot(df, target_col="Survived")

8、Speedml

SpeedML是用于快速启动机器学习管道的Python包。SpeedML整合了一些常用的ML包，包括 Pandas，Numpy，Sklearn，Xgboost 和 Matplotlib，所以说其实SpeedML不仅仅包含自动化EDA的功能。

SpeedML官方说，使用它可以基于迭代进行开发，将编码时间缩短了70％。

Github:https://github.com/Speedml/speedml

from speedml import Speedml sml = Speedml(../input/train.csv, ../input/test.csv, target = Survived, uid = PassengerId) sml.train.head() sml.plot.correlate()sml.plot.distribute()