以下是我在北京某大学演讲实时数据库论理与技术的PPT提纲:
WW.W_PLC※JS_C,OM-PL,C-技.术_网
实时数据库理论与技术
WWW.PLCJS.COM——可编程控制器技术门户
汇报提纲
P.L.C.技.术.网——可编程控制器技术门户
1.实时数据库的产品定位
WWW_PL※CJS_COM-PLC-技.术_网
2.实时数据库的关键技术
WWW.PLCJS.COM——可编程控制器技术门户
3.实时数据库的发展方向
P.L.C.技.术.网——可编程控制器技术门户
内容
WW.W_PLC※JS_C,OM-PL,C-技.术_网
1.实时数据库的产品定位
W1WW_P4LCJS_COM-PLC-技.术_网
1.1.数据库技术的发展
——可——编——程——控-制-器-技——术——门——户
数据库技术是计算机科学中的一个重要分支;——可——编——程——控-制-器-技——术——门——户
针对不同的应用环境和用户需求,出现了许多新领域、新成果和新技术;WWW_PLCJS※COM-PLC-技.术_网(可※编程控※制器技术门户)
传统数据库和现代数据库;WWW_PLC※JS_COM-PLC-技.术_网(可编程控※制器技术门户)
1.2.数据库的分类
——可——编——程——控-制-器-技——术——门——户
传统数据库 WWW_P※LCJS_COM-PLC-)技.术_网
层次型数据库; WWW※PLCJS_COM-PL#C-技.术_网(可编※程控※制器技术门户)
网状型数据库; plcjs.技.术_网
关系型数据库; WWW_PLCJS_COM-PLC-技.术_网
现代数据库 plcjs.技.术_网
数据模型:面象对象数据库、文档型数据库; WWW_P※LCJS_CO※M-PLC-技-.术_网
数据分布:分布式数据库、联邦数据库、移动数据库; WWW_PLCJS※COM-PLC-技.术_网(可※编程控※制器技术门户)
处理方式:并行数据库; WWW_PL※CJS_COM-PLC-技.术_网
应用领域:演绎数据库、知识库、主动数据库、多媒体数据库、工程数据库、统计数据库、空间数据库等、嵌入式数据库; ——可——编——程——控-制-器-技——术——门——户
连接性:WEB数据库;plcjs.技.术_网
存储介质:内存数据库; P.L.C.技.术.网——可编程控制器技术门户
时间特性:实时数据库; WWW_PLC※JS_COM-PmLC-技.术_网
1.3.实时数据库的概念
WW.W_PLC※JS_C,OM-PL,C-技.术_网
实时数据库RTDB(Real-Time Data Base)是数据和事务都有定时特性或定时限制的数据库。 WWW_PLCJS_COM-PLC-技.术_网
1.4.与关系数据库的区别
——可——编——程——控-制-器-技——术——门——户
数据时效性 WWW_P※LCJS_COM-PLC-)技.术_网
测点数量 WWW_PLCJS_COM-PLC-技.术_网
插入速度 WWW_PLC※JS_COM-PLC-技.术_网(可编程控※制器技术门户)
数据存贮量 WWW_PLCJS※COM-PLC-技.术_网(可※编程控※制器技术门户)
维护方便性 WWW_PLCJS※COM-PLC-技×术_网(可编程控※制器技术门户)
1.5.实时数据库的分类
WW.W_PLCJS_COM-PLC-技.术_网
硬实时数据库 WWW_PLC※JS_COM-PLC-技.术_网(可编程控※制器技术门户)
固实时数据库 WWW_PLC※JS_COM-PLC-技.术_网(可编程控※制器技术门户)
软实时数据库 WWW※PLCJS_COM-PL#C-技.术_网(可编※程控※制器技术门户)
1.6.流程工业实时数据库
P_L_C_技_术_网——可——编——程——控-制-器-技——术——门——户
流程工业实时数据库与是一种特殊的实时数据系统 WWW_PLCJS※COM-PLC-技×术_网(可编程控※制器技术门户)
历史数据的处理与实时数据的处理同等重要;W1WW_P4LCJS_COM-PLC-技.术_网
弱化控制功能,强调历史数据的分析应用;WWW_P※LCJS_CO※M-PLC-技-.术_网
实时性要求不高,属于固、软实时数据库系统; ——可——编——程——控-制-器-技——术——门——户
1.7.实时数据库定位
WWW_PLCJS@_COM%-PLC-技.术_网
处于生产控制系统与经营管理系统之间的“数字鸿沟” 不能满足管控一体化的需求。WWW_PLCJS※COM-PLC-技.术_网(可※编程控※制器技术门户)
实时数据库是桥梁、平台WWW_P※LCJS_CO※M-PLC-技-.术_网
1.8.应用领域
WWW_P※LCJS_COM-PLC-)技.术_网
流程工业 WWW.PLCJS.COM——可编程控制器技术门户
在我国,流程工业是一个非常巨大的产业,在产业中占据重要的地位,是国民经济发展中极为重要的基础支柱产业。包括石化、炼油、化工、冶金、制药、建材、轻工、造纸、采矿、环保、电力等工业行业。 WWW_PL※CJS_COM-PLC-技.术_网
非流程工业 WWW_PL※CJS_COM-PLC-技.术_网
仿真、交通、电信、通讯、邮电等行业。 WWW_PLC※JS_COM-PmLC-技.术_网
2.实时数据库的关键技术
WWcW_PLCJS_COM-PLC-技.术_网
2.1.实时数据库的功能点
WWW.PLCJS.COM——可编程控制器技术门户
实时数据库模型P_L_C_技_术_网——可——编——程——控-制-器-技——术——门——户
实时事务调度:包括并发控制、冲突解决、死锁等内容WWW.PLCJS.COM——可编程控制器技术门户
数据压缩WWW_PLCJS_COM-PLC-技.术_网
容错性与错误恢复P.L.C.技.术.网——可编程控制器技术门户
访问准入控制P.L.C.技.术.网——可编程控制器技术门户
内存组织与管理WW.W_PLC※JS_C,OM-PL,C-技.术_网
索引结构WWW_PL※CJS_COM-PLC-技.术_网
I/O与磁盘调度 WWcW_PLCJS_COM-PLC-技.术_网
主内存数据库系统WW.W_PLC※JS_C,OM-PL,C-技.术_网
系统资源调度、恢复WWW_PLCJS_COM-PLC-技.术_网
不精确计算问题P_L_C_技_术_网——可——编——程——控-制-器-技——术——门——户
放松的可串行化问题WWW_PLCJS※COM-PLC-技.术_网(可※编程控※制器技术门户)
查询处理算法WWW_P※LCJS_COM-PLC-)技.术_网
实时SQLWW.W_PLCJS_COM-PLC-技.术_网
数据和事务特性的语义及这种语义与一致性、正确性的关系WW.W_PLC※JS_C,OM-PL,C-技.术_网
实时事务的可预测性WWW_PLCJ-S_COM-PLC-技.术_网(可-编程控-制器技术-门户)
通信的协议与算法WW.W_PLCJS_COM-PLC-技.术_网
数据接口的标准化 WWW_PLC※JS_COM-PmLC-技.术_网
……WWW_P※LCJS_COM-PLC-)技.术_网
2.2.实时数据库的架构
WWW_P※LCJS_CO※M-PLC-技-.术_网
2.4.数据压缩
WWW.PLCJS.COM——可编程控制器技术门户
无损压缩 WWcW_PLCJS_COM-PLC-技.术_网
Shannon把信息中排除了冗余后的平均信息量称为“信息熵”,并给出了计算信息熵的数学表达式,是所有无损数据压缩算法的理论基础 WWW.PLCJS.COM——可编程控制器技术门户
Huffman编码 WWW_PLCJS※COM-PLC-技×术_网(可编程控※制器技术门户)
LZ 算法 WWcW_PLCJS_COM-PLC-技.术_网
有损压缩 WWW_PLCJS※COM-PLC-技.术_网(可※编程控※制器技术门户)
JPGWWW_PLCJS※COM-PLC-技.术_网(可※编程控※制器技术门户)
MP3WWW_PL※CJS_COM-PLC-技.术_网
2.4.1.实时数据的有损压缩
P_L_C_技_术_网——可——编——程——控-制-器-技——术——门——户
原理: WWW_PL※CJS_COM-PLC-技.术_网
实时数据的数据变化具有一定波形规律; ——可——编——程——控-制-器-技——术——门——户
只有一小部分测点的值经常发生改变; WWW.PLCJS.COM——可编程控制器技术门户
测点的数值都具有慢变化的特征; WWW_PLCJ-S_COM-PLC-技.术_网(可-编程控-制器技术-门户)
数值变化与时间变化具有共同变化特性; WWW.PLCJS.COM——可编程控制器技术门户
用户在一定范围内,能够允许数据的精度损失; WWcW_PLCJS_COM-PLC-技.术_网
实现: WW.W_PLC※JS_C,OM-PL,C-技.术_网
死区压缩; WWW_PLC※JS_COM-PLC-技.术_网(可编程控※制器技术门户)
旋转门压缩; WWW_P※LCJS_COM-PLC-)技.术_网
2.4.2.旋转门压缩图示
P_L_C_技_术_网——可——编——程——控-制-器-技——术——门——户
2.5.历史文件的磁盘组织
WWcW_PLCJS_COM-PLC-技.术_网
实时数据库最终的数据流向是建立于磁盘上的历史数据库。 WWW_PLCJS※COM-PLC-技×术_网(可编程控※制器技术门户)
历史数据库能存储历史数据,还存储属性数据、中间计算结果数据、统计数据、索引结构。 WWW_P※LCJS_CO※M-PLC-技-.术_网
压缩率、访问速度、访问并发性是影响历史数据库性能的重要因素。 WWW_PLCJ-S_COM-PLC-技.术_网(可-编程控-制器技术-门户)
2.5.1.历史数据特点
WWW_PLCJS※COM-PLC-技×术_网(可编程控※制器技术门户)
流程工业历史数据的特点: WW.W_PLCJS_COM-PLC-技.术_网
历史数据量巨大 WWW_PLCJS@_COM%-PLC-技.术_网
历史数据保存的时间长 WWW_PLCJS※COM-PLC-技×术_网(可编程控※制器技术门户)
存储格式简单,没有复杂的关系 WWW_PLCJ-S_COM-PLC-技.术_网(可-编程控-制器技术-门户)
不同测点数据保存的时间间隔相差很大; WWW_PLCJS※COM-PLC-技.术_网(可※编程控※制器技术门户)
许多测点的数据变化平缓; WWW_PLC※JS_COM-PmLC-技.术_网
以测点为单位进行历史存储 WW.W_PLCJS_COM-PLC-技.术_网
以测点和时间为查询条件 WWW_P※LCJS_CO※M-PLC-技-.术_网
大量的查询都是最近时间段的历史数据 WWW※PLCJS_COM-PL#C-技.术_网(可编※程控※制器技术门户)
追加插入多,删除少,修改少,中间插入少。 W1WW_P4LCJS_COM-PLC-技.术_网
查询为分块查询,随机查询少。WWW※PLCJS_COM-PL#C-技.术_网(可编※程控※制器技术门户)
2.5.2.历史数据的设计
P.L.C.技.术.网——可编程控制器技术门户
占用磁盘空间小:压缩算法 ——可——编——程——控-制-器-技——术——门——户
查询时间速度快:索引结构 WWW_PLCJS※COM-PLC-技×术_网(可编程控※制器技术门户)
访问磁盘次数尽可能少:页面数据结构; WWW_PLCJS@_COM%-PLC-技.术_网
易于管理:多文件,索引与数据共存;WWW_PLCJ-S_COM-PLC-技.术_网(可-编程控-制器技术-门户)
具备数据恢复功能:日志系统WWW_PLCJ-S_COM-PLC-技.术_网(可-编程控-制器技术-门户)
2.6.索引结构
WWW_PLCJ-S_COM-PLC-技.术_网(可-编程控-制器技术-门户)
典型的索引有如下几类: WWW_P※LCJS_CO※M-PLC-技-.术_网
HASH索引 WW.W_PLCJS_COM-PLC-技.术_网
顺序索引 WWW_PLC※JS_COM-PmLC-技.术_网
B树索引 W1WW_P4LCJS_COM-PLC-技.术_网
AVL树索引 plcjs.技.术_网
T树索引 WWW_PLC※JS_COM-PmLC-技.术_网
数组索引 WW.W_PLC※JS_C,OM-PL,C-技.术_网
2.6.1.实时数据库的索引选择
WWW_PLC※JS_COM-PLC-技.术_网(可编程控※制器技术门户)
T树和B树的选择 WWW_PLCJ-S_COM-PLC-技.术_网(可-编程控-制器技术-门户)
时间因素的索引选择 WWW_PLCJS_COM-PLC-技.术_网
内存索引结构和文件索引结构的选择 WWW_P※LCJS_COM-PLC-)技.术_网
2.7.缓冲区设计
P_L_C_技_术_网——可——编——程——控-制-器-技——术——门——户
缓冲区在内外存数据交换中的作用 WWW_PLC※JS_COM-PmLC-技.术_网
缓冲区的结构选择(影子内存法、HASH表)WWW.PLCJS.COM——可编程控制器技术门户
缓冲区的页面定位算法 WWW_PLCJS※COM-PLC-技.术_网(可※编程控※制器技术门户)
缓冲区的页面淘汰算法 WWW_PLCJS@_COM%-PLC-技.术_网
2.8.内存数据组织
WWW_P※LCJS_COM-PLC-)技.术_网
内存数据的结构选择 P.L.C.技.术.网——可编程控制器技术门户