spark: RDD與DataFrame之間的相互轉(zhuǎn)換方法
DataFrame是一個(gè)組織成命名列的數(shù)據(jù)集。它在概念上等同于關(guān)系數(shù)據(jù)庫(kù)中的表或R/Python中的數(shù)據(jù)框架，但其經(jīng)過了優(yōu)化。DataFrames可以從各種各樣的源構(gòu)建，例如：結(jié)構(gòu)化數(shù)據(jù)文件，Hive中的表，外部數(shù)據(jù)庫(kù)或現(xiàn)有RDD。
DataFrame API 可以被Scala，Java，Python和R調(diào)用。
在Scala和Java中，DataFrame由Rows的數(shù)據(jù)集表示。
在Scala API中，DataFrame只是一個(gè)類型別名Dataset[Row]。而在Java API中，用戶需要Dataset<Row>用來表示DataFrame。
在本文檔中，我們經(jīng)常將Scala/Java數(shù)據(jù)集Row稱為DataFrames。
那么DataFrame和spark核心數(shù)據(jù)結(jié)構(gòu)RDD之間怎么進(jìn)行轉(zhuǎn)換呢？
代碼如下：
# -*- coding: utf-8 -*-
from __future__ import print_function
from pyspark.sql import SparkSession
from pyspark.sql import Row
if __name__ == "__main__":
# 初始化SparkSession
spark = SparkSession \
.builder \
.appName("RDD_and_DataFrame") \
.config("spark.some.config.option", "some-value") \
.getOrCreate()
sc = spark.sparkContext
lines = sc.textFile("employee.txt")
parts = lines.map(lambda l: l.split(","))
employee = parts.map(lambda p: Row(name=p[0], salary=int(p[1])))
#RDD轉(zhuǎn)換成DataFrame
employee_temp = spark.createDataFrame(employee)
#顯示DataFrame數(shù)據(jù)
employee_temp.show()
#創(chuàng)建視圖
employee_temp.createOrReplaceTempView("employee")
#過濾數(shù)據(jù)
employee_result = spark.sql("SELECT name,salary FROM employee WHERE salary >= 14000 AND salary <= 20000")
# DataFrame轉(zhuǎn)換成RDD
result = employee_result.rdd.map(lambda p: "name: " + p.name + " salary: " + str(p.salary)).collect()
#打印RDD數(shù)據(jù)
for n in result:
print(n)
以上這篇spark: RDD與DataFrame之間的相互轉(zhuǎn)換方法就是小編分享給大家的全部?jī)?nèi)容了，希望能給大家一個(gè)參考，也希望大家多多支持腳本之家。
相關(guān)文章
這篇文章主要介紹了python如何查找圖片按鈕的坐標(biāo)位置，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。如有錯(cuò)誤或未考慮完全的地方，望不吝賜教2022-11-11
Python機(jī)器學(xué)習(xí)NLP自然語言處理基本操作詞袋模型
本文是Python機(jī)器學(xué)習(xí)NLP自然語言處理系列文章，帶大家開啟一段學(xué)習(xí)自然語言處理 (NLP) 的旅程。本篇文章主要學(xué)習(xí)NLP自然語言處理基本操作之詞袋模型2021-09-09
在本篇文章里小編給大家整理了關(guān)于python range實(shí)例用法，有需要的朋友們可以學(xué)習(xí)參考下2020-02-02
字典是Python語言中唯一的映射類型。字典對(duì)象是可變的，它是一個(gè)容器類型，能存儲(chǔ)任意個(gè)數(shù)的Python對(duì)象，其中也可包括其他容器類型。在學(xué)習(xí)了 Python 基本的字典操作后，通過學(xué)習(xí)本文的這些進(jìn)階操作，讓寫出的代碼更加優(yōu)雅簡(jiǎn)潔和pythonic。下面來一起看看吧。2016-11-11
這篇文章主要介紹了pybind11和numpy進(jìn)行交互的方法，本文通過實(shí)例代碼給大家介紹的非常詳細(xì)，具有一定的參考借鑒價(jià)值 ,需要的朋友可以參考下2019-07-07
python字典通過值反查鍵的實(shí)現(xiàn)(簡(jiǎn)潔寫法)
這篇文章主要介紹了python字典通過值反查鍵的實(shí)現(xiàn)(簡(jiǎn)潔寫法)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-09-09
Python如何實(shí)現(xiàn)Markdown記賬記錄轉(zhuǎn)Excel存儲(chǔ)
這篇文章主要為大家詳細(xì)介紹了Python如何實(shí)現(xiàn)Markdown記賬記錄轉(zhuǎn)Excel存儲(chǔ)功能,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2025-03-03
這篇文章主要總結(jié)了一些Python中的列表的知識(shí)點(diǎn),來自于IBM官網(wǎng)技術(shù)文檔,需要的朋友可以參考下2015-04-04
PyTorch詳解經(jīng)典網(wǎng)絡(luò)種含并行連結(jié)的網(wǎng)絡(luò)GoogLeNet實(shí)現(xiàn)流程
今天小編就為大家分享一篇Pytorch實(shí)現(xiàn)GoogLeNet的方法，GoogLeNet提出了一個(gè)名為“Inception”的深度卷積神經(jīng)網(wǎng)結(jié)構(gòu)，其目標(biāo)是將分類、識(shí)別ILSVRC14數(shù)據(jù)集的技術(shù)水平提高一個(gè)層次。這一結(jié)構(gòu)的主要特征是對(duì)網(wǎng)絡(luò)內(nèi)部計(jì)算資源的利用進(jìn)行了優(yōu)化2022-05-05
這篇文章主要介紹了詳解Django中的form庫(kù)的使用,Django是最為著名的Python編程框架,需要的朋友可以參考下2015-07-07