Idea?編譯并運(yùn)行?Spark?3.1.1?源碼的方法
Idea 編譯并運(yùn)行 Spark 3.1.1 源碼
1、下載源碼
直接使用 idea clone spark 源碼，git 地址： https://github.com/apache/spark.git
如果網(wǎng)絡(luò)連接不上github的話可以去官網(wǎng)下載源碼壓縮包。下載地址：https://archive.apache.org/dist/spark/
clone 或 import 之后會(huì)有 maven 和 sbt 兩個(gè)選項(xiàng)導(dǎo)入，直接識(shí)別成 maven 項(xiàng)目，checkout自己需要的版本，我本次編譯版本為3.1分支
2、編譯源碼
直接使用 idea 頁面 ui 編譯，找到 Spark Project Parent POM 然后點(diǎn)擊 clean 和 package，勾選上 skipTest。
編譯過程中，報(bào)了如下異常：
這是maven插件的問題，我們跳過這個(gè)的功能，使用如下maven 語句編譯：
mvn clean package -DskipTests -Denforcer.skip=true
編譯過程中，又拋了如下異常：
Execute failed: java.io.IOException: Cannot run program “bash” (in directory “D:\Develop\workspace\spark\core”): CreateProcess error=2, 系統(tǒng)找不到指定的文件。
這個(gè)是本地Windows環(huán)境不能執(zhí)行bash導(dǎo)致的，需要本機(jī)安裝Git工具, 將git路徑添加到系統(tǒng)環(huán)境變量 Path 中，然后重啟電腦就可以解決。
之后就等待編譯完成即可，可能時(shí)間有點(diǎn)長(zhǎng)，15分鐘左右。
3、運(yùn)行源碼
嘗試根據(jù)官網(wǎng)案例運(yùn)行代碼
運(yùn)行 ./bin/run-example SparkPi 10 命令報(bào)找不到 HADOOP_HOME，配置一下HADOOP_HOME，然后重啟電腦即可。
配置完成之后，運(yùn)行成功
spark shell 也可以正常啟動(dòng)，證明我們的代碼可以正常運(yùn)行了，更多的操作就留給大家自己操作了，下面就可以正常的進(jìn)行代碼debug查看源碼了。
到此這篇關(guān)于Idea 編譯并運(yùn)行 Spark 3.1.1 源碼的文章就介紹到這了,更多相關(guān)Idea 編譯運(yùn)行 Spark內(nèi)容請(qǐng)搜索腳本之家以前的文章或繼續(xù)瀏覽下面的相關(guān)文章希望大家以后多多支持腳本之家！
相關(guān)文章
解決springboot啟動(dòng)報(bào)錯(cuò)bean找不到的問題
這篇文章主要介紹了解決springboot啟動(dòng)報(bào)錯(cuò)bean找不到原因,本文給大家分享完美解決方案，通過圖文相結(jié)合給大家介紹的非常詳細(xì)，需要的朋友可以參考下2023-03-03
這篇文章主要介紹了關(guān)于Java什么是語法糖以及語法糖的種類,也稱糖衣語法，是由英國(guó)計(jì)算機(jī)學(xué)家?Peter.J.Landin?發(fā)明的一個(gè)術(shù)語，指在計(jì)算機(jī)語言中添加的某種語法，這種語法對(duì)語言的功能并沒有影響，但是更方便程序員使用,需要的朋友可以參考下2023-05-05
這篇文章主要針對(duì)java中break和continue的區(qū)別進(jìn)行詳細(xì)介紹，幫助大家更好的學(xué)習(xí)了解java中break和continue源碼，感興趣的小伙伴們可以參考一下2016-06-06
使用maven-archetype-plugin現(xiàn)有項(xiàng)目生成腳手架的方法
這篇文章主要介紹了使用maven-archetype-plugin現(xiàn)有項(xiàng)目生成腳手架的方法,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2020-11-11
springboot整合ACTable生成數(shù)據(jù)庫表方式
ACTable是一個(gè)增強(qiáng)Mybatis的功能框架,支持SpringBoot和SpringMvc項(xiàng)目,通過配置model注解即可創(chuàng)建、修改表結(jié)構(gòu),并實(shí)現(xiàn)了共通的CRUD功能2025-02-02
下面小編就為大家分享一篇Java遍歷json字符串取值的實(shí)例，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-03-03
PowerJob的OmsLogHandler工作流程源碼解析
這篇文章主要為大家介紹了PowerJob的OmsLogHandler工作流程源碼解析，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-12-12
今天小編就為大家分享一篇java 讀取文件路徑空格、"+"和中文的處理方法，具有很好的參考價(jià)值，希望對(duì)大家有所幫助。一起跟隨小編過來看看吧2018-07-07
Centos中yum方式安裝java的實(shí)現(xiàn)示例
這篇文章主要介紹了Centos中yum方式安裝java的實(shí)現(xiàn)示例，文中通過示例代碼介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值，需要的朋友們下面隨著小編來一起學(xué)習(xí)學(xué)習(xí)吧2020-04-04
Quartz是Java領(lǐng)域最著名的開源任務(wù)調(diào)度工具。Quartz提供了極為廣泛的特性如持久化任務(wù)，集群和分布式任務(wù)等，下面這篇文章主要給大家介紹了關(guān)于Quartz集群原理以及配置應(yīng)用的相關(guān)資料，需要的朋友可以參考下2018-05-05