Loading...
1 概述1.1 Flume定义Flume 是Cloudera 提供的一个高可用的,高可靠的,分布式的海量日志采集、聚合和传输的系统。Flume 基于流式架构,灵活简单。Flume最主要的作用:实时读取服务器本地磁盘的数据,将数据写入到HDFS1.2 Flume组成架构1.2.1 AgentAgent 是一个JVM 进程,它以事件的形式将数据从源头送至目的,==是Flume 数据传输的基本单元...
1 Flink简介Flink 项目的理念是:“Apache Flink 是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink 是一个框架和分布式处理引擎,用于对无界和有界数据流进行有状态计算。Flink 被设计在所有常见的集群环境中运行,以内存执行速度和任意规模来执行计算。2 为什么选择Flink流数据更真实地反映生活方式传统的数据架构是基于优...