Loading...
1 共享变量 1.1 广播变量 # coding:utf8 import time from pyspark import SparkConf, Spa...
1 SparkSQL概述 1.1 SparkSQL简介 SparkSQL 是Spark的一个模块, 用于处理海量结构化数据。 SparkSQL是非常成熟...
1 为什么需要RDD 分布式计算需要: 分区控制 Shuffle控制 数据存储\序列化\发送 数据计算API 等一系列功能 这些功能, 不能简单的通过...
入门概念 Spark是什么 Apache Spark是用于大规模数据(large-scala data)处理的统一(unified)分析引擎。Spark ...
1 kafka工作流程及文件存储机制 Kafka中消息是以topic进行分类的,生产者生产消息,消费者消费消息,都是面向topic的。 topic是逻辑上...