詳解IntelliJ IDEA創(chuàng)建spark項(xiàng)目的兩種方式
Intellij是進(jìn)行scala開發(fā)的一個(gè)非常好用的工具,可以非常輕松查看scala源碼,當(dāng)然用它來開發(fā)Java也是很爽的,之前一直在用scala ide和eclipse,現(xiàn)在換成intellij簡直好用到飛起,但是有些人不知道怎么用intellij去創(chuàng)建一個(gè)spark項(xiàng)目,這里介紹兩種
1、選擇File->new Project->Java->Scala,這里scala版本是2.11.8

2 .之后一路點(diǎn)擊next,直到finish,創(chuàng)建完的項(xiàng)目見下圖,這時(shí)候已經(jīng)可以創(chuàng)建scala文件了,接下來就可以添加spark相關(guān)的jar包了,從官網(wǎng)下載http://spark.apache.org/downloads.html,我這里用的是spark-2.2.1-bin-hadoop2.7,你可以根據(jù)自己需要選擇相應(yīng)的版本,下載完壓縮包后解壓

3 . 選擇File->Project Structure->Libraries,點(diǎn)擊+,選擇Java,選擇之前下載的spark2.2-hadoop2.7解壓后的jars文件夾,將該文件夾下的jar包全部引進(jìn)該項(xiàng)目,見下圖

4 . 之后在libraries中點(diǎn)擊+,選擇scala sdk,這里選擇系統(tǒng)版本的scala,為2.11.8版本,添加見下圖

5 . 添加完畢后Project Structure類似于下面這種格式

6 .現(xiàn)在該項(xiàng)目有了spark的jar和scala的sdk,之后創(chuàng)建一個(gè)scala文件進(jìn)行測試,代碼及運(yùn)行結(jié)果見下圖

7 .出現(xiàn)上面這些內(nèi)容表明Intellij創(chuàng)建spark項(xiàng)目成功,總結(jié)一下這種方式需要引入scala sdk以及spark的jar包,還有另外一種方式是見下圖,選擇File->New Project->Scala->IDEA,選擇next

8 .之后指定項(xiàng)目名稱和項(xiàng)目所處位置,點(diǎn)擊finish,創(chuàng)建項(xiàng)目

9 .這時(shí)候創(chuàng)建的項(xiàng)目如下,這種情況下可以直接右鍵new 創(chuàng)建scala文件,不需要在額外添加scala sdk

10 .接下來的操作和上面那種一樣,添加spark jar包即可,添加完后測試一下

11 .成功輸出,表明Intellij創(chuàng)建spark項(xiàng)目成功,當(dāng)然前提是intellij安裝了scala插件,在File->Settings->Plugins,搜索scala,根據(jù)查找的結(jié)果進(jìn)行安裝后重啟intellij即可,下圖是我已經(jīng)安裝好的

以上就是兩種創(chuàng)建spark項(xiàng)目的方式,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。
相關(guān)文章
Java使用JSqlParser解析復(fù)雜的SQL語句的詳細(xì)步驟
這篇文章介紹了在Java代碼中使用 JSqlParser解析復(fù)雜SQL語句的相關(guān)內(nèi)容,包括JSqlParser是什么及安裝步驟,其使用場景如分析、轉(zhuǎn)換、生成和驗(yàn)證SQL語句,處理SQL注入攻擊的方法,以及解析復(fù)雜SQL語句的步驟、示例代碼和對不同類型語句的處理,需要的朋友可以參考下2025-01-01
SpringBoot返回前端Long類型字段丟失精度問題及解決方案
Java服務(wù)端返回Long整型數(shù)據(jù)給前端,JS會(huì)自動(dòng)轉(zhuǎn)換為Number類型,本文主要介紹了SpringBoot返回前端Long類型字段丟失精度問題及解決方案,感興趣的可以了解一下2024-03-03
SpringBoot 過濾器 Filter使用實(shí)例詳解
這篇文章主要為大家介紹了SpringBoot 過濾器Filter使用實(shí)例詳解,有需要的朋友可以借鑒參考下,希望能夠有所幫助,祝大家多多進(jìn)步,早日升職加薪2022-10-10
Java8 Stream API 詳細(xì)使用方法與操作技巧指南
這篇文章主要介紹了Java8 Stream API 詳細(xì)使用方法與操作技巧,總結(jié)分析了Java8 Stream API 基本功能、使用方法與操作注意事項(xiàng),需要的朋友可以參考下2020-05-05
Spring Boot通過Redis實(shí)現(xiàn)防止重復(fù)提交
表單提交是一個(gè)非常常見的功能,如果不加控制,容易因?yàn)橛脩舻恼`操作或網(wǎng)絡(luò)延遲導(dǎo)致同一請求被發(fā)送多次,本文主要介紹了Spring Boot通過Redis實(shí)現(xiàn)防止重復(fù)提交,具有一定的參考價(jià)值,感興趣的可以了解一下2024-06-06
基于Java實(shí)現(xiàn)ssh命令登錄主機(jī)執(zhí)行shell命令過程解析
這篇文章主要介紹了基于Java實(shí)現(xiàn)ssh命令登錄主機(jī)執(zhí)行shell命令過程解析,文中通過示例代碼介紹的非常詳細(xì),對大家的學(xué)習(xí)或者工作具有一定的參考學(xué)習(xí)價(jià)值,需要的朋友可以參考下2019-12-12
Java中的遞增i++與++i的實(shí)現(xiàn)原理詳解
這篇文章主要介紹了Java中的i++與++i的實(shí)現(xiàn)原理詳解,在Java中,i++是一種常見的遞增操作符,用于將變量i的值增加1,它是一種簡潔且方便的方式來實(shí)現(xiàn)循環(huán)和計(jì)數(shù)功能,i++可以用于各種情況,本文來看一下其實(shí)現(xiàn)原理,需要的朋友可以參考下2023-10-10
java如何動(dòng)態(tài)執(zhí)行while循環(huán)
這篇文章主要介紹了java如何動(dòng)態(tài)執(zhí)行while循環(huán)問題,具有很好的參考價(jià)值,希望對大家有所幫助,如有錯(cuò)誤或未考慮完全的地方,望不吝賜教2024-01-01
利用MultipartFile實(shí)現(xiàn)文件上傳功能
這篇文章主要為大家詳細(xì)介紹了利用MultipartFile實(shí)現(xiàn)文件上傳功能,具有一定的參考價(jià)值,感興趣的小伙伴們可以參考一下2017-11-11

