超实用!掌握这个Excel插件碾压大数据
曾几何时,EXCEL在数据界独树一帜,引领潮流,职场人人皆知。然而,随着大数据的出现,EXCEL 不再是众人瞩目的焦点。我是EXCEL的忠实用户。我从一开始就使用了最新的EXCEL2016 EXCEL2003。每次更新,感觉EXCEL的功能更加强大,更加人性化。但是,面对来势汹汹的大数据,EXCEL毕竟只是一个轻量级的工具,从来都不是对手,所以需要另辟蹊径来提升EXCEL的性能。
为了解决EXCEL的性能问题,我向很多数据行业的朋友请教,大部分都劝我EXCEL已经不能适应这个时代的发展,做大数据是不可能的,你仍然花时间去查看数据库或类似 python 的东西。听了之后,我不以为然,认为一定有办法。后来,我终于从高手那里学到了一个非常强大的解决方案,我的疑惑一下子打消了。
这是什么方法?原来是用EXCEL连接数据库,直接从数据库界面拖拽数据字段到EXCEL进行分析。这种方法很容易使用。一下子解决了EXCEL的性能问题,处理大数据变得更自如。EXCEL支持的数据库端口相当多,市面上常用的数据库基本都支持,通过一定的操作就可以成功连接。具体的连接方法可以自己在网上搜索。
除了直接连接数据库的方法外,还有一种更强大的处理大数据的方法,那就是使用插件形式连接数据库。以下面的观远BI大数据分析工具为例,先安装Excel插件,然后在EXCEL界面选择数据导入,可以导入本地EXCEL或者CSV文件,这个文件会保存在本地数据库中,这种方式适合经常处理大容量EXCEL文件的小伙伴。
上传数据后,您可以在数据集面板中拖放数据字段。首先用鼠标选择要分析的字段,然后将字段从右到左拖到EXCEL中,最后点击工具栏中的刷新。可以刷新数据库中的数据。一般来说,只要EXCEL文件超过一百万行,就会很卡顿,但是这种方法不会受到限制。从此,您不再需要打开庞大的数据源,通过EXCEL即可将数据库中的数据提取出来,即使是几千万行的数据文件也能轻松完成分析。
当然,上述方法只适用于处理一些相对固定的数据源。如果要对一些特殊的数据进行清理和查询,就必须使用数据库软件,所以必须对数据库语句有一定的基础知识,比如select、case when这些语句还是经常用到的。但是,很多使用EXCEL的朋友对数据库并不熟悉。如果让他们使用数据库语句来查询数据,无疑会非常头疼。
但别担心,这个问题有一个解决方案。我们还是需要用到上面观远BI大数据分析工具的EXCEL插件。只要在EXCEL中点击管理,就可以直接从EXCEL进入这个插件的云端。
进入云端后,这里首先要使用的功能是即席查询。ad hoc 查询与数据库查询的功能类似,只是 ad hoc 查询使用鼠标而不是数据库语句。如果你写一个数据库语句来查询数据,肯定会花很多时间,但不需要即席查询。您可以通过鼠标拖动并选择相应的字段来快速定位需要分析的数据字段。除了字段查询外,还可以实现表之间的内外部连接的功能,简直就是一个可视化的数据库平台。比如下图是一张9800万行数据的表,即席查询可以快速查询到需要分析的字段。
完成即席查询的操作后,就可以开始使用更强大的功能了,那就是透视分析。透视分析类似于 EXCEL 的透视表。可以通过拖拽得到想要的分析结果,但是EXCEL中可以透视的数据量非常少,超过一定的数据量就无法进行透视,非常不方便。视角分析不同。以上表 9800 万行数据为例。我可以很方便的用透视分析刷新,而且这个操作不需要在EXCEL上进行,非常强大。
说完上面这些强大的方法,这里是对数据可视化概念的一个延伸。很多朋友都非常喜欢炫酷的报表,最好用它来呈现数据。一般来说,EXCEL很难做出像下图这样的大屏效果,只能用一些昂贵的BI软件来做,不过小编在这里告诉大家一个方法。在数据分析工具插件的网页端,可以使用里面的dashboard功能设计出很多漂亮的图表,风格酷炫,图表新颖,非常适合企业报表平台的数据可视化。
以上是一些扩展EXCEL性能的方法。从以上案例可以得出结论,只要解决EXCEL的短板,EXCEL就能成功逆袭大数据,赶上大数据时代的“末班车”。如果你是EXCEL的常客,对EXCEL性能有困扰,那么以上方法要赶紧收集起来。