巴涅波赫夫のblog

迷失的人迷失了，相逢的人会再相逢

pysparkSQL汇总（未完待续）

1 SparkSQL概述 1.1 SparkSQL简介 SparkSQL 是Spark的一个模块, 用于处理海量结构化数据。 SparkSQL是非常成熟...

  • panbh5500
  • 2022 年 08 月 22 日
  • 暂无评论
    •

    PySparkCore（pyspark的RDD算子）API汇总

    1 为什么需要RDD 分布式计算需要: 分区控制 Shuffle控制 数据存储\序列化\发送 数据计算API 等一系列功能 这些功能, 不能简单的通过...

  • panbh5500
  • 2022 年 08 月 22 日
  • 暂无评论
    •

    Spark简介、特点、框架模块及运行模式介绍

    入门概念 Spark是什么 Apache Spark是用于大规模数据（large-scala data）处理的统一（unified）分析引擎。Spark ...

  • panbh5500
  • 2022 年 08 月 22 日
  • 暂无评论
    •

    Kafka工作流程、文件存储机制与组成单位原理

    1 kafka工作流程及文件存储机制 Kafka中消息是以topic进行分类的，生产者生产消息，消费者消费消息，都是面向topic的。 topic是逻辑上...

  • panbh5500
  • 2022 年 08 月 22 日
  • 暂无评论
    •

    Kafka基本概述与三大命令

    1 Kafka概述 1.1 定义 Kafka是一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域。 1....

  • panbh5500
  • 2022 年 08 月 22 日
  • 暂无评论