Pycharm連接遠(yuǎn)端Python環(huán)境操作Spark過程
遠(yuǎn)程連接方案,允許程序員連接遠(yuǎn)端測(cè)試環(huán)境,確保環(huán)境的統(tǒng)一,避免各種環(huán)境問題的發(fā)生,而且由于是連接的遠(yuǎn)程環(huán)境,所有在Pycharm編寫的代碼 可自動(dòng)上傳到遠(yuǎn)端服務(wù)器,本地在執(zhí)行代碼的時(shí)候,相當(dāng)于直接在遠(yuǎn)端環(huán)境上運(yùn)行。
1. 創(chuàng)建工程,指定遠(yuǎn)端python解析器
前提條件:遠(yuǎn)端Centos系統(tǒng),安裝了Spark環(huán)境,安裝了Python環(huán)境,本文基于anaconda安裝的python環(huán)境
打開pycharm開發(fā)工具,選擇File->New Project->Pure Python創(chuàng)建一個(gè)Python工程
需要:指定工程本地工作目錄,選擇先前配置的python解析器,若未配置遠(yuǎn)端python解析器,則打開對(duì)話框根據(jù)提示配置

2. 添加遠(yuǎn)端python解析器
添加遠(yuǎn)端python解析器,需要SSH方式(指定服務(wù)器地址、登錄用戶名、登錄口令)登錄遠(yuǎn)端服務(wù)器

指定服務(wù)器的登錄口令

單機(jī) Next,連接到服務(wù)器后,選擇python的安裝目錄

配置完成,就可以選擇已經(jīng)配置了的服務(wù)器python解析器。
同時(shí)指定工程在服務(wù)器上的工作目錄

3. 配置完成
配置完成,F(xiàn)ile->Settings -> 選擇對(duì)應(yīng)工程,可以發(fā)現(xiàn):服務(wù)器上python環(huán)境安裝的工具包,及本地工作目錄和服務(wù)器工作目錄的映射。這里主要關(guān)注pyspark包的安裝

4. 本地文件自動(dòng)同步遠(yuǎn)端
本地工程文件實(shí)時(shí)同步到服務(wù)器工作目錄,若擔(dān)心影響開發(fā)效率,可以關(guān)閉自動(dòng)同步,開啟手工同步

5. 刪除遠(yuǎn)端python解析器(非必須操作,重新配置時(shí)參考該項(xiàng))
配置過程中,若發(fā)現(xiàn)服務(wù)器python解析器配置錯(cuò)誤,或配置重復(fù),可從此處進(jìn)入,刪除有誤的配置

6. 文件模板配置
每個(gè)文件都用到的一些代碼,例如導(dǎo)包,本地鎖定服務(wù)器python解析器,可以做成一個(gè)模板。工程中每次創(chuàng)建一個(gè)新文件,會(huì)自動(dòng)導(dǎo)入模板。

#!/usr/bin/env python
# @desc :
__coding__ = "utf-8"
__author__ = "xxx team"
from pyspark import SparkContext, SparkConf
import os
# 鎖定遠(yuǎn)端操作環(huán)境, 避免存在多個(gè)版本環(huán)境的問題
os.environ['SPARK_HOME'] = '/export/server/spark'
os.environ["PYSPARK_PYTHON"] = "/root/anaconda3/bin/python"
os.environ["PYSPARK_DRIVER_PYTHON"] = "/root/anaconda3/bin/python"
# 快捷鍵: main 回車
if __name__ == '__main__':
print("XXX案例")
總結(jié)
以上為個(gè)人經(jīng)驗(yàn),希望能給大家一個(gè)參考,也希望大家多多支持腳本之家。
- Python大數(shù)據(jù)分析之PySpark原理與實(shí)戰(zhàn)教程詳解
- 使用Python和PySpark進(jìn)行數(shù)據(jù)分析的實(shí)戰(zhàn)教程
- 從Pyspark UDF調(diào)用另一個(gè)自定義Python函數(shù)的方法步驟
- Python?PySpark案例實(shí)戰(zhàn)教程
- spark編程python實(shí)例解讀
- Python安裝spark的詳細(xì)過程
- 在python中使用pyspark讀寫Hive數(shù)據(jù)操作
- 如何將PySpark導(dǎo)入Python的放實(shí)現(xiàn)(2種)
相關(guān)文章
對(duì)pandas將dataframe中某列按照條件賦值的實(shí)例講解
今天小編就為大家分享一篇對(duì)pandas將dataframe中某列按照條件賦值的實(shí)例講解,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-11-11
Python中collections.Counter()的具體使用
本文主要介紹了Python中collections.Counter()的具體使用,文中通過示例代碼介紹的非常詳細(xì),需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2021-07-07
Python操作JSON文件的知識(shí)點(diǎn)整理
Python?提供了內(nèi)置的?json?模塊來處理?JSON?格式的文件。該模塊主要分為讀取和寫入?JSON?文件。本文主要為大家整理了一些Python操作JSON文件的知識(shí)點(diǎn),需要的可以參考一下2023-01-01
淺談python函數(shù)調(diào)用返回兩個(gè)或多個(gè)變量的方法
今天小編就為大家分享一篇淺談python函數(shù)調(diào)用返回兩個(gè)或多個(gè)變量的方法,具有很好的參考價(jià)值,希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2019-01-01
Python中判斷input()輸入的數(shù)據(jù)的類型
在pyhton中,經(jīng)常會(huì)用到input()語句,但是input()語句輸入的內(nèi)容只能是字符串類型,而我們經(jīng)常要輸入int類型的數(shù)據(jù)等,這個(gè)時(shí)候就需要用到int()方法給輸入的內(nèi)容強(qiáng)制轉(zhuǎn)換,今天小編給大家介紹下Python中判斷input()輸入的數(shù)據(jù)的類型,感興趣的朋友跟隨小編一起看看吧2022-11-11
Pycharm中出現(xiàn)ImportError:DLL load failed:找不到指定模塊的解決方法
這篇文章主要介紹了Pycharm中出現(xiàn)ImportError:DLL load failed:找不到指定模塊的解決方法,需要的朋友可以參考下2019-09-09
如何使用五行Python代碼輕松實(shí)現(xiàn)批量摳圖
簡單來說,摳圖就是將照片的主體人或物品從圖片中摳出來,以便貼到別處使用,下面這篇文章主要給大家介紹了關(guān)于如何使用五行Python代碼輕松實(shí)現(xiàn)批量摳圖的相關(guān)資料,文中通過示例代碼介紹的非常詳細(xì),需要的朋友可以參考下2022-04-04

