spark dataframe 將一列展開,把該列所有值都變成新列的方法
更新時(shí)間：2019年01月29日 11:39:19 作者：Nougats
今天小編就為大家分享一篇spark dataframe 將一列展開,把該列所有值都變成新列的方法，具有很好的參考價(jià)值，希望對大家有所幫助。一起跟隨小編過來看看吧
The original dataframe
需求：hour代表一天的24小時(shí)，現(xiàn)在要將hour列展開，每一個小時(shí)都作為一個列
實(shí)現(xiàn)：
val pivots = beijingGeoHourPopAfterDrop.groupBy("geoHash").pivot("hour").sum("countGeoPerHour").na.fill(0)
并且統(tǒng)計(jì)了對應(yīng)的countGeoPerHour的和，如果有些行沒有這個新列對應(yīng)的數(shù)據(jù)，將用null填充
The new dataframe
以上這篇spark dataframe 將一列展開,把該列所有值都變成新列的方法就是小編分享給大家的全部內(nèi)容了，希望能給大家一個參考，也希望大家多多支持腳本之家。
相關(guān)文章
使用Python下載歌詞并嵌入歌曲文件中的實(shí)現(xiàn)代碼
這篇文章主要介紹了使用Python下載歌詞并嵌入歌曲文件中的實(shí)現(xiàn)代碼,需要借助eyed3模塊,需要的朋友可以參考下2015-11-11
Python3.10接入ChatGPT實(shí)現(xiàn)逐句回答流式返回
這篇文章主為大家要介紹了Python3.10接入ChatGPT實(shí)現(xiàn)逐句回答流式返回示例詳解，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-03-03
用python介紹4種常用的單鏈表翻轉(zhuǎn)的方法小結(jié)
這篇文章主要介紹了用python介紹4種常用的單鏈表翻轉(zhuǎn)的方法小結(jié)，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-02-02
這篇文章主要介紹了Python如何重新加載模塊,文中講解非常細(xì)致，代碼幫助大家更好的理解和學(xué)習(xí)，感興趣的朋友可以了解下2020-07-07
Python實(shí)現(xiàn)npy/mat文件的保存與讀取
除了常用的csv文件和excel文件之外，我們還可以通過Python把數(shù)據(jù)保存文npy文件格式和mat文件格式。本文為大家展示了實(shí)現(xiàn)npy文件與mat文件的保存與讀取的示例代碼，需要的可以參考一下2022-04-04
Python字典實(shí)現(xiàn)簡單的三級菜單(實(shí)例講解)
下面小編就為大家?guī)硪黄狿ython字典實(shí)現(xiàn)簡單的三級菜單(實(shí)例講解)。小編覺得挺不錯的，現(xiàn)在就分享給大家，也給大家做個參考。一起跟隨小編過來看看吧2017-07-07
這篇文章主要為大家介紹了Python面向?qū)ο笾K，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下，希望能夠給你帶來幫助2021-12-12
這篇文章主要給大家介紹了關(guān)于如何利用Python給自己的頭像加一個小國旗（小月餅）的相關(guān)資料，文中通過示例代碼介紹的非常詳細(xì)，對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-10-10
Python基于opencv實(shí)現(xiàn)的簡單畫板功能示例
這篇文章主要介紹了Python基于opencv實(shí)現(xiàn)的簡單畫板功能,結(jié)合實(shí)例形式分析了Python使用opencv模塊進(jìn)行圖形繪制的相關(guān)操作技巧,需要的朋友可以參考下2019-03-03
Python實(shí)現(xiàn)批量將PPT轉(zhuǎn)換成長圖
這篇文章主要為大家詳細(xì)介紹了如何利用Python實(shí)現(xiàn)批量將PPT轉(zhuǎn)換成長圖,并且圖片名稱與PPT文件名稱相同,保存位置相同,感興趣的小伙伴可以了解下2023-08-08