OLAP(联机分析处理): online analytical processing是一种软件技术,它使分析人员能够迅速、一致、交互地从各个方面观察信息,以达到深入理解数据的目的。从各方面观察信息,也就是从不同的维度分析数据,因此OLAP也称为多维分析。 OLAP工具有Kylin、Presto,这两个都是即席查询工具。
OLTP(联机事务处理): (Online Transaction Processing)
Apache Kylin 是一个开源的分布式分析引擎,提供Hadoop/Spark之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。
Presto 是一个开源的分布式SQL查询引擎,数据量支持GB到PB字节,主要用来处理秒级查询的场景。(一旦数据量超过支持的范围,效率就降下来了。)
OLAP (联机分析处理) 和OLTP (联机事务处理) 的区别:
这两个是两种数据处理的方式,它们的区别主要在于数据读写、数据表象、面向的用户、数据量等:
读: OLAP批量读取,一次读取大规模的数据,如一天、一月等;OLTP小批量读取,如关系型数据库中的业务数据的查询。
写: OLAP批量装载,如把一天的数据进行装载;OLTP随机写入少量数据,如用户注册、下单等往数据库写数据。
数据的表象: OLAP会保存历史数据的状态;OLTP只会保存最新数据的状态。
面向的用户: OLAP面向公司内部分析人员;OLTP面向普通的用户。
数据量: OLAP系统处理大规模数据量;OLTP处理的数据量在GB~PG之间。