pandas和spark dataframe互相轉(zhuǎn)換實例詳解
更新時間：2020年02月18日 08:43:34 投稿：yaominghui
這篇文章主要介紹了pandas和spark dataframe互相轉(zhuǎn)換實例詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
這篇文章主要介紹了pandas和spark dataframe互相轉(zhuǎn)換實例詳解,文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值,需要的朋友可以參考下
from pyspark.sql import SparkSession # 初始化spark會話 spark = SparkSession \ .builder \ .getOrCreate() spark_df = spark.createDataFrame(pandas_df)
spark的dataframe轉(zhuǎn)pandas的dataframe
import pandas as pd pandas_df = spark_df.toPandas()
由于pandas的方式是單機版的，即toPandas()的方式是單機版的，所以參考breeze_lsw改成分布式版本：
import pandas as pd def _map_to_pandas(rdds): return [pd.DataFrame(list(rdds))] def topas(df, n_partitions=None): if n_partitions is not None: df = df.repartition(n_partitions) df_pand = df.rdd.mapPartitions(_map_to_pandas).collect() df_pand = pd.concat(df_pand) df_pand.columns = df.columns return df_pand pandas_df = topas(spark_df)
以上就是本文的全部內(nèi)容，希望對大家的學習有所幫助，也希望大家多多支持腳本之家。
相關(guān)文章
f-string采用 {content:format} 設置字符串格式，其中content是替換并填入字符串的內(nèi)容，可以是變量、表達式或函數(shù)等，format 是格式描述符，這篇文章主要介紹了python使用?f?格式化字符串,需要的朋友可以參考下2022-12-12
Appium中scroll和drag_and_drop根據(jù)元素位置滑動
本文主要介紹了Appium中scroll和drag_and_drop根據(jù)元素位置滑動，文中通過示例代碼介紹的非常詳細，具有一定的參考價值，感興趣的小伙伴們可以參考一下2022-02-02
這篇文章主要介紹了python對指定字符串逆序的6種方法，文中通過示例代碼介紹的非常詳細，對大家的學習或者工作具有一定的參考學習價值，需要的朋友們下面隨著小編來一起學習學習吧2020-04-04
解決json.decoder.JSONDecodeError: Expecting value:&n
這篇文章主要介紹了解決json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)錯誤,具有很好的參考價值,希望對大家有所幫助,如有錯誤或未考慮完全的地方,望不吝賜教2024-04-04
這篇文章主要介紹了Python開啟線程和線程池的方法，本文通過實例代碼給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2024-03-03
Python使用try-except捕獲與處理異常的實現(xiàn)方法
在Python中,try-except 語句是用于捕獲和處理異常的主要工具,當程序運行過程中發(fā)生錯誤時,try-except 結(jié)構(gòu)可以有效地防止程序崩潰,并允許開發(fā)者為錯誤提供適當?shù)慕鉀Q方案,接下來,我們將詳細探討 try-except 的使用方式,需要的朋友可以參考下2024-11-11
Python基于PyGraphics包實現(xiàn)圖片截取功能的方法
這篇文章主要介紹了Python基于PyGraphics包實現(xiàn)圖片截取功能的方法,涉及PyGraphics包的安裝及基于PyGraphics包實現(xiàn)圖片的打開、讀取、截取等相關(guān)操作技巧,需要的朋友可以參考下2017-12-12
python目標檢測數(shù)據(jù)增強的代碼參數(shù)解讀及應用
這篇文章主要為大家介紹了python目標檢測數(shù)據(jù)增強的代碼參數(shù)解讀及應用，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進步，早日升職加薪2022-05-05
這篇文章主要介紹了python入門課程第一講之安裝與優(yōu)缺點，本文給大家介紹的非常詳細，對大家的學習或工作具有一定的參考借鑒價值，需要的朋友可以參考下2021-09-09
Python中如何將Tqdm與Asyncio結(jié)合使用呢
這篇文章主要和大家詳細介紹了在Python中如何將Tqdm與Asyncio結(jié)合使用呢，文中的示例代碼講解詳細，感興趣的小伙伴可以跟隨小編一起學習一下2023-05-05