离线计算

大数据计算术语

离线计算就是在计算开始前已知所有输入数据，输入数据不会产生变化，且在解决一个问题后就要立即得出结果的前提下进行的计算。在大数据中属于数据的计算部分，在该部分中与离线计算对应的则是实时计算。

在离线计算中，使用 Hdfs存储数据，使用 MapReduce 做批量计算，计算完成的数据如需数据仓库的存储，直接存入Hive , 然后从Hive进行展现。

离线计算特点

1) 数据量巨大且保存时间长；

2)在大量数据上进行复杂的批量运算；

3)数据在计算之前已经完全到位，不会发生变化；

4)能够方便的查询批量计算的结果；

区别

在实时计算中，输入数据是可以以序列化的方式一个个输入并进行处理的，也就是说在开始的时候并不需要知道所有的输入数据。而对于离线计算，在开始之前就必须知道所有的输入数据。例如：当用户请求发送过来后进行处理或输出结果的是实时计算，但在用户请求之前就将数据计算好的是离线计算。由于实时计算不能在整体上把握输入数据，所以得出的结果可能不是最优解。

同时，离线计算多用于模型的训练和数据的预处理，最经典的就是Hadoop的MapReduce方式；而实时计算框架是要求立即返回计算结果的，快速响应请求，多用于简单的累加计算和基于训练好的模型进行分类等操作。

离线计算框架

Hadoop

Hadoop，是由Yahoo工程师，Apache基金会发起的，MapReduce分布式计算框架+HDFS 分布式文件系统（GFS）+HBase数据存储系统(BigTable)。数据分布式存储在磁盘各个节点，计算时各个节点读取存储在自己节点的数据进行处理。

优点：

适用场景：离线大批量数据处理；不需要多次迭代

Spark

由UC Berkley AMP Lab，Apache基金会发起，专为大规模数据处理而设计的快速通用的计算引擎。它基于内存计算的并行计算框架，使用内存来存储数据，RDD(弹性分布式数据集)，用户可以指定存储策略，当内存不够的时候可以放到磁盘上。

特点：

首先，高级 API 剥离了对集群本身的关注，Spark 应用开发者可以专注于应用所要做的计算本身。

其次，Spark 很快，支持交互式计算和复杂算法。

最后，Spark 是一个通用引擎，可用它来完成各种各样的运算，包括 SQL 查询、文本处理、机器学习等，而在 Spark 出现之前，我们一般需要学习各种各样的引擎来分别处理这些需求。

适用场景：离线快速的处理，不能用于处理需要长期保存的数据；适用于多次迭代的计算模型（机器学习模型）

MapReduce

Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，则MapReduce为海量的数据提供了计算。

MapReduce 的编程模型，它适用于大规模数据集的并行运算。其基本思想是将问题分解成 Map ( 映射) 和 Reduce ( 化简) ，Map 程序将数据分割独立区块，利用计算机群实现分布式处理，最后通过Reduce 程序将结果汇总整合输出。MapReduce 的作业流程是任务的分解与集合的汇总。

HDFS

Hadoop分布式文件系统(HDFS)被设计成适合运行在通用硬件(commodity hardware)上的分布式文件系统。它和现有的分布式文件系统有很多共同点。但同时，它和其他的分布式文件系统的区别也是很明显的。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。HDFS能提供高吞吐量的数据访问，非常适合大规模数据集上的应用。HDFS放宽了一部分POSIX约束，来实现流式读取文件系统数据的目的。HDFS在最开始是作为Apache Nutch搜索引擎项目的基础架构而开发的。HDFS是Apache Hadoop Core项目的一部分。

HDFS有着高容错性（fault-tolerant）的特点，并且设计用来部署在低廉的（low-cost）硬件上。而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求（requirements）这样可以实现流的形式访问（streaming access）文件系统中的数据。

全国各地天气预报查询

上海市

云南省

云南省

云南省

云南省

云南省