Hadoop多Job并行處理的實(shí)例詳解
Hadoop多Job并行處理的實(shí)例詳解
有關(guān)Hadoop多Job任務(wù)并行處理，經(jīng)過(guò)測(cè)試，配置如下：
首先做如下配置：
1、修改mapred-site.xml添加調(diào)度器配置：
<property> <name>mapred.jobtracker.taskScheduler</name> <value>org.apache.hadoop.mapred.FairScheduler</value> </property>
2、添加jar文件地址配置：
<property> <name>hadoopTest.jar</name> <value>所生成jar的地址</value> </property>
Java基本代碼如下：
// 獲取各個(gè)Job，有關(guān)Job的創(chuàng)建，這里就不貼上來(lái)了。
Job job_base = (Job) 。。。;
Job job_avg = (Job) 。。。;
Job job_runCount = (Job) 。。。;
Job job_activeUser = (Job) ....;
job_base.setJarByClass(CapuseDateTimerTask.class);
job_avg.setJarByClass(CapuseDateTimerTask.class);
job_runCount.setJarByClass(CapuseDateTimerTask.class);
job_activeUser.setJarByClass(CapuseDateTimerTask.class);
// 執(zhí)行完job_base才開(kāi)始并行以下三個(gè)Job；
if (job_base.waitForCompletion(true)) {
FileUtil.hdfsFileHandle(jobBase);
// 并行Job
job_avg.submit();
job_runCount.submit();
job_activeUser.submit();
}
boolean bln1 = job_avg.isComplete();
boolean bln2 = job_runCount.isComplete();
boolean bln3 = job_activeUser.isComplete();
// 計(jì)算Job是否完成
while (!bln1 || !bln2 || !bln3) {
bln1 = job_avg.isComplete();
bln2 = job_runCount.isComplete();
bln3 = job_activeUser.isComplete();
}
最后將這些代碼組裝至Main方法，使用Hadoop執(zhí)行命令運(yùn)行：
hadoop jar jar包名稱 方法入口所在的類
如：
hadoop jar hadoopTest.jar ch03.test Test
可以通過(guò)50030端口來(lái)監(jiān)控Job的并行狀態(tài)，這里就不多說(shuō)了??！
解釋：
1、配置Jar地址可以解決打包所生成的jar包后，運(yùn)行時(shí)出現(xiàn)ClassNotFound的問(wèn)題；
2、給多個(gè)Job設(shè)定setJarByClass，經(jīng)測(cè)試，如果不設(shè)定此類，運(yùn)行時(shí)會(huì)出現(xiàn)ClassNotFound錯(cuò)誤，其中CapuseDateTimerTask為Main方法所在的類名；
3、waitForCompletion與submit方法是有區(qū)別的，waitForCompletion是串行，而submit是并行，正是因?yàn)閟ubmit是并行所以后續(xù)的代碼操作需要取其執(zhí)行是否完成的狀態(tài)來(lái)做判斷處理即：isComplete()；
4、以上Job采用的是：org.apache.hadoop.mapreduce.Job
以上代碼操作在單機(jī)/集群上測(cè)試都通過(guò)！
如有疑問(wèn)請(qǐng)留言或者到本站社區(qū)交流討論，感謝閱讀，希望能幫助到大家，謝謝大家對(duì)本站的支持！
相關(guān)文章
這篇文章主要為大家詳細(xì)介紹了java學(xué)生信息管理系統(tǒng)源代碼，文中示例代碼介紹的非常詳細(xì)，具有一定的參考價(jià)值，感興趣的小伙伴們可以參考一下2018-01-01
PowerJob的ProcessorLoader工作流程源碼解讀
這篇文章主要為大家介紹了PowerJob的ProcessorLoader工作流程源碼解讀，有需要的朋友可以借鑒參考下，希望能夠有所幫助，祝大家多多進(jìn)步，早日升職加薪2023-12-12
在ES中,增加字段相對(duì)比較容易,因?yàn)镋S支持動(dòng)態(tài)映射(Dynamic Mapping),這篇文章主要給大家介紹了關(guān)于在Elasticsearch中添加字段的詳細(xì)步驟,文中給出了詳細(xì)的代碼實(shí)例,需要的朋友可以參考下2024-07-07
Java設(shè)計(jì)模式之狀態(tài)模式（State模式）介紹
這篇文章主要介紹了Java設(shè)計(jì)模式之狀態(tài)模式（State模式）介紹,本文講解了何時(shí)使用狀態(tài)模式、如何使用狀態(tài)模式等內(nèi)容,需要的朋友可以參考下2015-03-03
下面小編就為大家?guī)?lái)一篇java json不生成null或者空字符串屬性(詳解)。小編覺(jué)得挺不錯(cuò)的，現(xiàn)在就分享給大家，也給大家做個(gè)參考。一起跟隨小編過(guò)來(lái)看看吧2017-02-02
mybatis?collection和association的區(qū)別解析
這篇文章主要介紹了mybatis?collection解析以及和association的區(qū)別,本文給大家介紹的非常詳細(xì)，對(duì)大家的學(xué)習(xí)或工作具有一定的參考借鑒價(jià)值，需要的朋友可以參考下2022-07-07
基于Java實(shí)現(xiàn)一個(gè)高效可伸縮的計(jì)算結(jié)果緩存
這篇文章將通過(guò)對(duì)一個(gè)計(jì)算結(jié)果緩存的設(shè)計(jì)迭代介紹，分析每個(gè)版本的并發(fā)缺陷，并分析如何修復(fù)這些缺陷，最終完成一個(gè)高效可伸縮的計(jì)算結(jié)果緩存，感興趣的小伙伴可以了解一下2023-06-06
Spring?Boot是一個(gè)用于快速構(gòu)建基于Spring框架的應(yīng)用程序的開(kāi)源框架,它通過(guò)使用注解來(lái)簡(jiǎn)化配置和開(kāi)發(fā)過(guò)程,使開(kāi)發(fā)人員能夠更加專注于業(yè)務(wù)邏輯的實(shí)現(xiàn),Spring?Boot提供了許多注解,用于定義和配置應(yīng)用程序的各個(gè)方面,需要的朋友可以參考下2023-10-10
線程不安全這個(gè)問(wèn)題，一般在學(xué)Java時(shí)，我們老師會(huì)讓我們背誦一段長(zhǎng)長(zhǎng)的話。"當(dāng)不同線程同時(shí)能訪問(wèn)同一個(gè)變量時(shí)，可能會(huì)導(dǎo)致線程不安全"。實(shí)際上，這句話重點(diǎn)想突出的只有原子性。而我們往往考慮線程不安全的原因，會(huì)從三方面進(jìn)行考慮：就是原子性，可見(jiàn)性，有序性2022-04-04
Spring?Get請(qǐng)求與post請(qǐng)求的實(shí)現(xiàn)
在Spring中，GET請(qǐng)求和POST請(qǐng)求是兩種常見(jiàn)的HTTP請(qǐng)求方法，用于與服務(wù)器進(jìn)行交互，本文詳細(xì)的介紹一下Spring?Get請(qǐng)求與post請(qǐng)求的實(shí)現(xiàn)，感興趣的可以了解一下2023-10-10