將string類型的數(shù)據(jù)類型轉(zhuǎn)換為spark rdd時(shí)報(bào)錯(cuò)的解決方法
更新時(shí)間：2019年02月18日 09:41:56 作者：gavenyeah
今天小編就為大家分享一篇關(guān)于將string類型的數(shù)據(jù)類型轉(zhuǎn)換為spark rdd時(shí)報(bào)錯(cuò)的解決方法，小編覺得內(nèi)容挺不錯(cuò)的，現(xiàn)在分享給大家，具有很好的參考價(jià)值，需要的朋友一起跟隨小編來看看吧
在將string類型的數(shù)據(jù)類型轉(zhuǎn)換為spark rdd時(shí)，一直報(bào)這個(gè)錯(cuò)，StructType can not accept object %r in type %s” % (obj, type(obj)))
.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize(list0)
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.
查了半天的資料，問了不少同事都沒能解決掉這個(gè)bug。最后終于google到一個(gè)類似的case，終于把問題解決。記錄一下！
.
.
.
s = str(tree)
y = str(YESTERDAY)
list0 = [s, y]
outRes = self.sc.parallelize([list0])
df_tree = outRes.toDF("model: string, dt: string").registerTempTable("temp")
.
.
.
上面的問題辦法是，將sc.parallelize([list0])中的list0再轉(zhuǎn)成一個(gè)整體list，問題即可解決。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，謝謝大家對(duì)腳本之家的支持。如果你想了解更多相關(guān)內(nèi)容請(qǐng)查看下面相關(guān)鏈接
相關(guān)文章
Python數(shù)據(jù)可視化之用Matplotlib繪制常用圖形
Matplotlib能夠繪制折線圖、散點(diǎn)圖、柱狀圖、直方圖、餅圖. 我們需要知道不同的統(tǒng)計(jì)圖的意義,以此來決定選擇哪種統(tǒng)計(jì)圖來呈現(xiàn)我們的數(shù)據(jù),今天就帶大家詳細(xì)了解如何繪制這些常用圖形,需要的朋友可以參考下2021-06-06
dataframe設(shè)置兩個(gè)條件取值的實(shí)例
下面小編就為大家分享一篇dataframe設(shè)置兩個(gè)條件取值的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-04-04
這篇文章主要介紹了PYQT5 實(shí)現(xiàn)界面的嵌套方式，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2021-03-03
python opencv 找出圖像中的最大輪廓并填充(生成mask)
這篇文章主要介紹了python opencv 找出圖像中的最大輪廓并填充(生成mask)，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-03-03
這篇文章主要為大家詳細(xì)介紹了python感知機(jī)實(shí)現(xiàn)代碼，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2019-01-01
django中上傳圖片分頁三級(jí)聯(lián)動(dòng)效果的實(shí)現(xiàn)代碼
這篇文章主要介紹了django中上傳圖片分頁三級(jí)聯(lián)動(dòng)效果的實(shí)現(xiàn)代碼，非常不錯(cuò)，具有一定的參考借鑒價(jià)值，需要的朋友參考下吧2019-08-08
今天小編就為大家分享一篇Python 列表去重去除空字符的例子，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-07-07
基于Pygame實(shí)現(xiàn)簡(jiǎn)單的貪吃蛇游戲
Pygame是一個(gè)專門用來開發(fā)游戲的Python模塊，主要用于開發(fā)、設(shè)計(jì)?2D?電子游戲。本文主要為大家介紹了通過Pygame制作一個(gè)簡(jiǎn)單的貪吃蛇游戲，感興趣的同學(xué)可以關(guān)注一下2021-12-12
pyhton學(xué)習(xí)與數(shù)據(jù)挖掘self原理及應(yīng)用分析
這篇文章主要為大家介紹了深入分析pyhton中的self原理及應(yīng)用，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步早日升職加薪2021-11-11
這篇文章主要介紹了python 一篇文章搞懂裝飾器所有用法，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-10-10