pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉(zhuǎn)換實例

更新時間：2018年08月02日 11:10:51 作者：birdlove1987

今天小編就為大家分享一篇pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉(zhuǎn)換實例，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧

代碼如下，步驟流程在代碼注釋中可見：

# -*- coding: utf-8 -*-
import pandas as pd
from pyspark.sql import SparkSession
from pyspark.sql import SQLContext
from pyspark import SparkContext
 
#初始化數(shù)據(jù)
 
#初始化pandas DataFrame
df = pd.DataFrame([[1, 2, 3], [4, 5, 6]], index=['row1', 'row2'], columns=['c1', 'c2', 'c3'])
 
#打印數(shù)據(jù)
print df
 
#初始化spark DataFrame
sc = SparkContext()
if __name__ == "__main__":
 spark = SparkSession\
  .builder\
  .appName("testDataFrame")\
  .getOrCreate()
 
sentenceData = spark.createDataFrame([
 (0.0, "I like Spark"),
 (1.0, "Pandas is useful"),
 (2.0, "They are coded by Python ")
], ["label", "sentence"])
 
#顯示數(shù)據(jù)
sentenceData.select("label").show()
 
#spark.DataFrame 轉(zhuǎn)換成 pandas.DataFrame
sqlContest = SQLContext(sc)
spark_df = sqlContest.createDataFrame(df)
 
#顯示數(shù)據(jù)
spark_df.select("c1").show()
 
 
# pandas.DataFrame 轉(zhuǎn)換成 spark.DataFrame
pandas_df = sentenceData.toPandas()
 
#打印數(shù)據(jù)
print pandas_df

程序結(jié)果：

以上這篇pyspark.sql.DataFrame與pandas.DataFrame之間的相互轉(zhuǎn)換實例就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。

您可能感興趣的文章:

相關(guān)文章

Python+Selenium實現(xiàn)無頭瀏覽器網(wǎng)頁截圖
這篇文章主要為大家詳細介紹了Python+Selenium實現(xiàn)無頭瀏覽器網(wǎng)頁截圖的相關(guān)知識,文中的示例代碼講解詳細,感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下
2025-03-03
Python中asyncio模塊的深入講解
這篇文章主要給大家介紹了關(guān)于Python中asyncio模塊的相關(guān)資料，文中通過示例代碼介紹的非常詳細，對大家學(xué)習(xí)或者使用Python具有一定的參考學(xué)習(xí)價值，需要的朋友們下面來一起學(xué)習(xí)學(xué)習(xí)吧
2019-06-06
Python日志打印里logging.getLogger源碼分析詳解
在本篇文章里小編給大家整理的是一篇關(guān)于Python logging.getLogger源碼分析的相關(guān)內(nèi)容，有興趣的朋友們可以學(xué)習(xí)參考下。
2021-01-01
Pandas:DataFrame對象的基礎(chǔ)操作方法
今天小編就為大家分享一篇Pandas:DataFrame對象的基礎(chǔ)操作方法，具有很好的參考價值，希望對大家有所幫助。一起跟隨小編過來看看吧
2018-06-06
一文帶你吃透Python中的日期時間模塊
Python?提供了?日期和時間模塊用來處理日期和時間，還可以用于格式化日期和時間等常見功能。這篇文章就來帶大家了解一下它的使用，需要的可以參考一下
2023-02-02
速記Python布爾值
這篇文章主要介紹了速記Python布爾值，具有一定參考價值，需要的朋友可以了解下。
2017-11-11
Python defaultdict方法使用分析
在使用Python字典的過程中，如果沒有key就會自動報錯，這時就需要python中defaultdict函數(shù)發(fā)揮作用。defaultdict是Python內(nèi)建dict類的一個子類，功能與dict相同，但可以產(chǎn)生一個帶有默認值的dict，如果key不存在，就會返回默認值
2022-10-10
使用Python和scikit-learn創(chuàng)建混淆矩陣的示例詳解
這篇文章主要介紹了使用Python和scikit-learn創(chuàng)建混淆矩陣的示例詳解,該示例包括生成數(shù)據(jù)集、為數(shù)據(jù)集選擇合適的機器學(xué)習(xí)模型、構(gòu)建、配置和訓(xùn)練它，最后解釋結(jié)果，即混淆矩陣，需要的朋友可以參考下
2022-06-06
python算法演練_One Rule 算法(詳解)
下面小編就為大家?guī)硪黄猵ython算法演練_One Rule 算法(詳解)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧
2017-05-05
Python用selenium實現(xiàn)自動登錄和下單的項目實戰(zhàn)
本文主要介紹了Python用selenium實現(xiàn)自動登錄和下單的項目實戰(zhàn)，文中通過示例代碼介紹的非常詳細，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧
2023-02-02