以下文章来源CSDN,作者是CHE_NG程,个人觉得写得不错分享给大家,文章底部有原文链接。
大数据技术原理与应用本文是对《大数据与云计算导论》课程知识点的应试总结。基本涵盖了《大数据技术原理与应用》的重点内容。
思维导图由
福尔摩东整理第一章大数据概述1、三次信息化浪潮信息化浪潮发生时间标志解决的问题代表企业第一次浪潮年前后个人计算机信息处理Intel、AMD、IBM第二次浪潮年前后互联网信息传输雅虎、谷歌、阿里巴巴第三次浪潮年前后物联网、云计算和大数据信息爆炸亚马逊、谷歌、阿里云注:信息化浪潮每15年一次。
2、信息科技为大数据时代提供技术支持存储设备容量不断增加
存储单位:bit、Byte、KB、MB、GB、TB、PB、EB(ZB、YB、BB、NB、DB)
CPU处理能力大幅提升
网络带宽不断增加
3、大数据的特点(5个)数据量大(Volume)
数据类型繁多(Variety)
处理速度快(Velocity)
价值密度低(Value)
真实性(Veracity)
4、大数据的影响1、大数据对科学研究的影响人类自古以来在科学研究上先后经历了实验、理论、计算和数据四种范式:
第一种范式:实验科学
第二种范式:理论科学
第三种范式:计算科学
第四种范式:数据密集型科学
2、大数据对思维方式的影响全样而非抽样
效率而非精确
相关而非因果
5、大数据关键技术数据采集与预处理
数据存储和管理
数据处理与分析
数据安全和隐私保护
6、大数据计算模式大数据计算模式解决问题代表产品批处理计算针对大规模数据的批量处理MapReduce、Spark等流计算针对流数据的实时计算Strom、Stream、银河流数据处理平台等图计算针对大规模图结构数据的处理Pregel、GraphX、PowerGraph等查询分析计算大规模数据的存储管理和查询分析Dremel、Hive等7、云计算1、概念通过网络提供可伸缩的、廉价的分布式计算能力
2、云计算的关键技术虚拟化:云计算基础架构的基石
分布式存储
分布式计算
多租户
8、物联网1、概念物物相连的互联网
从技术架构上来看,物联网可分为四层:感知层、网络层、处理层和应用层
2、物联网关键技术识别和感知技术(