针对上述痛点，观远数据诚意打造了零门槛的数据处理神器—— ETL（智能数据处理）。

ETL旨在让用户在数据分析、数据可视化制作前能够对数据集进行易操作、低门槛、智能化的高效数据处理，使数据经过清洗、转换、装载后生成对终端业务人员更友好的数据集。

处理前的数据：

处理后的数据：

观远平台提供可视化的操作界面，便于用户对数据进行专业级的ETL处理。

ETL易上手，易使用。操作灵活，输出高效，深度集成BI平台，真正能让业务人员亲手参与数据处理，满足业务需要。

便捷易用，轻松上手。图形化的操作界面，功能以方块展示，通过简捷的拖拽的方式将功能拖入，按顺序相连形成数据流。便捷易用，轻松地理解数据的走向。

实时预览，心中有数。每一个功能块均支持实时预览，实时展示数据运行到该模块的状态。使每一步操作都心中有数。

结果输出更随性。支持任意节点的结果输出，可以根据数据精炼程度的不同，在数据处理流的每一个节点都能输出数据集，一个流程支持多个分析，事半功倍。

数据流实时保存更贴心。支持未完成数据流的保存，让复杂的建模过程可分解、可追踪。

多数据源融合。支持丰富数据源类型，让数据真正融合。

平台化无缝操作。集成于BI平台，与数据分析模块无缝对接。

ETL自上线以来已经被多家客户采用，接受来满足各类场景的需求。今天小编给大家介绍一个泛金融行业的案例。

使用场景：某金融公司需要对本公司的多家银行流水数据进行分析。

痛点：银行数据导出均为EXCEL格式并且不同银行之间的数据格式参差不齐，有的银行流水中含10个字段，但有的多达20多个字段。含义相同的字段名称不尽相同，例如“付款发生额“、“收款发生额”与“贷方金额”，“借方金额”。甚至有的银行直接以“交易金额”通过正负表示上述数据。以上的情况使得整合分析的的需求困难重重，分散的EXCEL数据亦无法如同数据库中的数据通过可以SQL语句进行整合处理。

观远数据方案：利用 ETL后，很好的完成了数据整合与处理的需求。

> Step2  使用添加计算列功能，对数据的格式进行规范。

如浦发银行交易时间为2个字段：

a. “交易日期”，8位数字例如“20171012”表示该交易发生在哪一天；

b. “交易时间”，数字例如“101207”，或“91230”表示时分秒，但由于首位0将被省略导致数字位数不确定。

针对上述困难，在 ETL中仅需要在添加计算列中通过简单的函数语句，分几步进行处理：

a. 用“format_string”函数将“交易时间”补足6位数。

b. 添加计算列模块自带转换数据格式功能呢，将两个字段转换成为字符串格式。

c. 用“concat”、“substr”函数，将两个字段截取，通过“-”或者“：”拼接成“yyyy-MM-dd HH:mm:ss”的格式，并转换位日期格式。

通过以上步骤完成对日期的规范化处理。

> Step3  使用选择列功能，将各家银行的流水中，含义相同字段筛选出，并且重命名为统一名称。剔除于数据整体分析意义不大的字段，如“备注”等。

> Step4  使用行拼接功能，将7家银行的处理完毕的规范数据拼接在一张表里，形成一个统一的数据集。

> Step5  利用拼接完成的数据根据业务需要进行再次处理：

a. 根据转账方名称特征，按照特定逻辑添加客户标签，区分客户类型，按类型进行客户行为分析等工作。

b. 根据交易金额大小，按业务标准区分大额交易，通过对大额交易的重点监控降低风险，加强资金管控。

> Step6  使用输出数据集功能，轻松输出处理完毕的数据集无压力。

想了解更多 ETL 的应用？欢迎关注观远数据微信公众号，更多好玩的内容持续更新哦~