介绍
OLTP(on-line transaction processing)翻译为联机事务处理, OLAP(On-Line Analytical Processing)翻译为联机分析处理,从字面上来看OLTP是做事务处理,OLAP是做分析处理。从对数据库操作来看,OLTP主要是对数据的增删改,OLAP是对数据的查询。
OLTP方法的优点:
它管理组织的日常交易。 OLTP通过简化单个流程来扩大组织的客户基础。
OLTP方法的缺点:
如果OLTP系统面临硬件故障,那么在线交易将受到严重影响。 OLTP系统允许多个用户同时访问和更改同一数据时,会造成混乱。
使用OLAP服务的优点:
OLAP为所有类型的业务分析需求(包括计划,预算,预测和分析)创建一个平台。
OLAP的主要好处是信息和计算的一致性。 轻松对用户和对象施加安全限制,以符合法规并保护敏感数据。
OLAP服务的缺点:
实施和维护依赖于IT专业人员,因为传统的OLAP工具需要复杂的建模过程。 OLAP工具需要各个部门人员之间的合作才能有,过程相对繁琐复杂。
从应用上来看看OLTP与OLAP的区别
OLTP主要用来记录某类业务事件的发生,如购买行为,当行为产生后,系统会记录是谁在何时何地做了何事,这样的一行(或多行)数据会以增删改的方式在数据库中进行数据的更新处理操作,要求实时性高、稳定性强、确保数据及时更新成功,像公司常见的业务系统如ERP,CRM,OA等系统都属于OLTP。
当数据积累到一定的程度,我们需要对过去发生的事情做一个总结分析时,就需要把过去一段时间内产生的数据拿出来进行统计分析,从中获取我们想要的信息,为公司做决策提供支持,这时候就是在做OLAP了。
因为OLTP所产生的业务数据分散在不同的业务系统中,而OLAP往往需要将不同的业务数据集中到一起进行统一综合的分析,这时候就需要根据业务分析需求做对应的数据清洗后存储在数据仓库中,然后由数据仓库来统一提供OLAP分析。所以我们常说OLTP是数据库的应用,OLAP是数据仓库的应用,下面用一张图来简要对比。
使用图示
操作型数据库(ODS)
操作型数据库(ODS),数据仓库(DW或EDW),数据集市(DM)是目前标准数仓结构的三个核心组件。
他们在数仓架构中差异点大致如下(以标准理论为准,实际设计中都会有越界和妥协现象)
ODS和贴源层(缓冲区)
贴源层的数据结构和数据内容是和源系统一模一样的,包括里面的垃圾数据,唯一不同的是,贴源层加了“时间戳”。
ODS层,则要清洗掉垃圾数据,更改不能入库的格式为数仓支持的格式或优化后的格式,如nchar改为char或Varchar。
贴源层数据存放一般为一周左右,几乎不会超过一个月;而ODS则永久存放。