pycharm編寫spark程序,導(dǎo)入pyspark包的3中實(shí)現(xiàn)方法
一種方法:
File --> Default Setting --> 選中Project Interpreter中的一個(gè)python版本-->點(diǎn)擊右邊鋸齒形圖標(biāo)(設(shè)置)-->選擇more-->選擇剛才選中的那個(gè)python版本-->點(diǎn)擊最下方編輯(也就是增加到這個(gè)python版本下)-->點(diǎn)擊➕-->選中spark安裝目錄下的python目錄-->一路OK。
再次在python文件中寫入如下
from pyspark import SparkConf
如果上一種不管用,則采用下一種。
With PySpark package (Spark 2.2.0 and later)
另一種操作方法:
1.Go to File -> Settings -> Project Interpreter
2.Click on install button and search for PySpark
第三種方法(需要先下載spark安裝包):
下載spark安裝包,將spark主目錄中python目錄中的pyspark目錄拷貝到
/Library/Frameworks/Python.framework/Versions/3.5/lib/python3.5/site-packages
目錄中,在pycharm中
from pyspark import SparkContext
成功,可以愉快的用python編寫spark程序了。。。。
- pycharm利用pyspark遠(yuǎn)程連接spark集群的實(shí)現(xiàn)
- Win10搭建Pyspark2.4.4+Pycharm開發(fā)環(huán)境的圖文教程(親測)
- windows下pycharm搭建spark環(huán)境并成功運(yùn)行 附源碼
- PyCharm搭建Spark開發(fā)環(huán)境的實(shí)現(xiàn)步驟
- PyCharm搭建Spark開發(fā)環(huán)境實(shí)現(xiàn)第一個(gè)pyspark程序
- PyCharm+PySpark遠(yuǎn)程調(diào)試的環(huán)境配置的方法
- pycharm連接spark教程
相關(guān)文章
Python高級數(shù)據(jù)分析之pandas和matplotlib繪圖
Matplotlib是一個(gè)強(qiáng)大的Python繪圖和數(shù)據(jù)可視化的工具包,下面這篇文章主要給大家介紹了關(guān)于Python高級數(shù)據(jù)分析之pandas和matplotlib繪圖的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-05-05
Python如何實(shí)現(xiàn)播放本地音樂并在web頁面播放
這篇文章主要為大家詳細(xì)介紹了Python如何實(shí)現(xiàn)播放本地音樂并在web頁面播放,文中的示例代碼講解詳細(xì),感興趣的小伙伴可以跟隨小編一起學(xué)習(xí)一下2025-02-02
python使用pika庫調(diào)用rabbitmq參數(shù)使用詳情
這篇文章主要介紹了python使用pika庫調(diào)用rabbitmq參數(shù)使用詳情,文章通過展開文章主題分享了三種方式,具有一定的參考價(jià)值,需要的朋友可以參考一下2022-08-08
OpenCV3.3+Python3.6實(shí)現(xiàn)圖片高斯模糊
這篇文章主要為大家詳細(xì)介紹了OpenCV3.3+Python3.6實(shí)現(xiàn)圖片高斯模糊,文中示例代碼介紹的非常詳細(xì),具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2021-05-05
關(guān)于Gradio中Button用法及事件監(jiān)聽器click方法使用
介紹了在Gradio中使用Button組件和事件監(jiān)聽器的click方法,通過一個(gè)簡單的示例展示了如何實(shí)現(xiàn)點(diǎn)擊按鈕輸出一行文字的功能,在實(shí)際項(xiàng)目中遇到了一個(gè)錯(cuò)誤,經(jīng)過排查和請教室友后,發(fā)現(xiàn)問題出在inputs參數(shù)的傳遞上,需要傳入一個(gè)包含輸入組件的列表2024-11-11
對numpy的array和python中自帶的list之間相互轉(zhuǎn)化詳解
下面小編就為大家分享一篇對numpy的array和python中自帶的list之間相互轉(zhuǎn)化詳解,具有很好的參考價(jià)值,希望對大家有所幫助。一起跟隨小編過來看看吧2018-04-04
淺談Python peewee 使用經(jīng)驗(yàn)
這篇文章主要介紹了淺談Python peewee 使用經(jīng)驗(yàn),小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,也給大家做個(gè)參考。一起跟隨小編過來看看吧2017-10-10

