当前位置:网站首页>第七章 数据管理技术的发展
第七章 数据管理技术的发展
2022-08-08 23:50:00 【我不配拥有55kg的你】
第一节 数据库技术发展概述
1.数据模型是数据库系统的核心和基础。
以数据模型的发展为主线,数据库技术可分为第一代的网状,层次结构数据库系统,
第二代的关系数据库和第三代的面向对象数据库
2.支持关系数据模型的数据库是第二代数据库
3.第三代数据库的基本特征
(1)应支持数据管理,对象管理和知识管理
(2)必须保持或继承第二代数据库系统的技术
(3)必须对其他系统开放
4.数据库技术与人工智能技术相结合出现了演绎数据库,知识库和主动数据库。
5.还有一些与其他技术相结合出现的数据库。
第二节 数据仓库与数据挖掘
1.数据仓库的建立将操作型处理和分析型处理区分开来。
2.数据仓库是面向主题的,集成的,稳定的,随时间变化的数据集合,用于支持管理和决策的过程。
3.数据仓库的主要特征
(1)面向主题
数据仓库中的数据是按照主题开组织的
(2)集成性
(3)非易失性
(4)时变性
4.数据仓库的三个重要概念
(1)粒度
粒度是设计数据仓库的一个重要方面
粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别,细化程度越高,粒度越小,反之亦然。
(2)分割
分割是将数据分散到各自的物理单元中,一边能分别处理,以提高处理数据的效率。
数据分割后的单元称之为切片
(3)维
维是人们观察事物的特定角度,是考虑问题时的一类属性。
2.数据挖掘
数据挖掘是指从大量的,不完全的,有噪音的,模糊的,随机的实际应用数据中发现并提取隐藏在其中的,人们事先不知道的,但是又潜在有用的信息和知识的一种技术。
2.1 数据挖掘具备的功能
(1)概念描述
(2)关联分析
在数据挖掘技术中,基于关联规则的挖掘是应用较广的一种方法。
(3)分类与预测
(4)聚类
聚类是把数据按照相似性归纳成若干类别
(5)孤立点检测
孤立点是指数据中与整体行为表现不一致的数据集合
(6)趋势和演变分析
第三节 大数据管理技术
1.一般情况下,大数据是指无法在可容忍的时间内用现有信息技术和软,硬件工具对其进行获取、管理和处理的数据集合。
2.大数据的特点
(1)数据量大
(2)多样化
(3)快速化
(4)价值密度低
3.大数据处理的典型代表
(1)大数据存储
(1.1)分布式文件系统,著名的是HDFS,
(1.2)NoSQL数据管理技术
(1.2.1)键值存储
(1.2.2)文档存储
文档存储的存储格式可以多样化,适合存储系统日志等非结构化数据
(1.2.3)列存储
列存储是以列为单位进行存储数据
(1.2.4)图存储
图存储数据库是基于图理论构建的,使用节点,属性和边的概念。
(1.3)MapReduce技术
MaoReduce是一种并行编程模型。
边栏推荐
猜你喜欢
并发编程第8篇,AQS源码解读
09 Spark on RDD 阶段划分
[PP-YOLOv2] Training a custom dataset
51nod2614 小B爱旅行 (参考范艺杰代码 基本抄袭 太难了)
【latex异常与错误】There were undefined references.Reference `xxx‘ on page x undefined.参考引用公式编号时发生错误
深入理解计算系统第三章程序的机器级表达总结
51nod 1830
Excel 2013 下拉为“快速分拆”调整为“填充序号”
[YOLOv5] 6.0 environment construction (updated from time to time)
洛谷P4197 Peaks 线段树合并
随机推荐
【深度学习】TensorFlow学习之路三:梯度消失\爆炸及解决办法
并发编程第9篇,Condition
获取当前时间的前/后某一天的日期
STM8L LCD digital tube driver, thermometer LCD display
【瑞吉外卖】day04:员工分页查询、启用/禁用员工账号、编辑员工信息
官方一键安装redis集群
实用小技能:一键获取Harbor中镜像信息,快捷查询镜像
风控建模四:逻辑回归评分卡开发
RecyclerView的多选模式
05 Spark on 读取内部数据分区存储策略(源码角度分析)
ABP中的数据过滤器
laravel框架之验证码控制器
HCIP2---静态路由、动态路由
如何学好编程
51nod2614 小B爱旅行 (参考范艺杰代码 基本抄袭 太难了)
redis集群redis-trib扩容缩容
51nod1798 打怪兽
神经网络学习笔记(1)
HCIP2--HCIA复习
循环神经网络实现股票预测