Loading...
1 Shell概述 Shell是一个命令行解释器,它接收应用程序、用户命令,然后调用操作系统内核。 Shell还是一个功能相当强大的编程语言,易编写、易...
1 共享变量 1.1 广播变量 # coding:utf8 import time from pyspark import SparkConf, Spa...
1 SparkSQL概述 1.1 SparkSQL简介 SparkSQL 是Spark的一个模块, 用于处理海量结构化数据。 SparkSQL是非常成熟...
1 为什么需要RDD 分布式计算需要: 分区控制 Shuffle控制 数据存储\序列化\发送 数据计算API 等一系列功能 这些功能, 不能简单的通过...
入门概念 Spark是什么 Apache Spark是用于大规模数据(large-scala data)处理的统一(unified)分析引擎。Spark ...