13518219792
這篇文章給大家介紹spark on yarn的兩種提交方式分別是什么，內容非常詳細，感興趣的小伙伴們可以參考借鑒，希望對大家能有所幫助。
為冀州等地區用戶提供了全套網頁設計制作服務，及冀州網站建設行業解決方案。主營業務為成都網站設計、網站制作、冀州網站設計，以傳統方式定制建設網站，并提供域名空間備案等一條龍服務，秉承以專業、用心的態度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！
和yarn-cluster模式一樣，整個程序也是通過spark-submit腳本提交的。但是yarn-client作業程序的運行不需要通過Client類來封裝啟動，而是直接通過反射機制調用作業的main函數。下面就來分析：
1、通過SparkSubmit類的launch的函數直接調用作業的main函數（通過反射機制實現），如果是集群模式就會調用Client的main函數。
2、而應用程序的main函數一定都有個SparkContent，并對其進行初始化；
3、在SparkContent初始化中將會依次做如下的事情：設置相關的配置、注冊MapOutputTracker、 BlockManagerMaster、BlockManager，創建taskScheduler和dagScheduler；其中比較重要的是創建 taskScheduler和dagScheduler。在創建taskScheduler的時候會根據我們傳進來的master來選擇 Scheduler和SchedulerBackend。由于我們選擇的是yarn-client模式，程序會選擇YarnClientClusterScheduler和YarnClientSchedulerBackend，并將YarnClientSchedulerBackend 的實例初始化YarnClientClusterScheduler，上面兩個實例的獲取都是通過反射機制實現 的，YarnClientSchedulerBackend類是CoarseGrainedSchedulerBackend類的子 類，YarnClientClusterScheduler是TaskSchedulerImpl的子類，僅僅重寫了TaskSchedulerImpl 中的getRackForHost方法。
4、初始化完taskScheduler后，將創建dagScheduler，然后通過taskScheduler.start()啟動 taskScheduler，而在taskScheduler啟動的過程中也會調用SchedulerBackend的start方法。在 SchedulerBackend啟動的過程中將會初始化一些參數，封裝在ClientArguments中，并將封裝好的 ClientArguments傳進Client類中，并client.runApp()方法獲取Application ID。
5、client.runApp里面的做是和前面客戶端進行操作那節類似，不同的是在里面啟動是ExecutorLauncher（yarn-cluster模式啟動的是ApplicationMaster）。
6、在ExecutorLauncher里面會初始化并啟動amClient，然后向ApplicationMaster注冊該 Application。注冊完之后將會等待driver的啟動，當driver啟動完之后，會創建一個MonitorActor對象用于和 CoarseGrainedSchedulerBackend進行通信（只有事件AddWebUIFilter他們之間才通信，Task的運行狀況不是通 過它和CoarseGrainedSchedulerBackend通信的）。然后就是設置addAmIpFilter，當作業完成的時 候，ExecutorLauncher將通過amClient設置Application的狀態為 FinalApplicationStatus.SUCCEEDED。
7、分配Executors，這里面的分配邏輯和yarn-cluster里面類似，就不再說了。
8、最后，Task將在CoarseGrainedExecutorBackend里面運行，然后運行狀況會通過Akka通知CoarseGrainedScheduler，直到作業運行完成。
9、在作業運行的時候，YarnClientSchedulerBackend會每隔1秒通過client獲取到作業的運行狀況，并打印出相應的運行信息，當Application的狀態是FINISHED、FAILED和KILLED中的一種，那么程序將退出等待。
10、最后有個線程會再次確認Application的狀態，當Application的狀態是FINISHED、FAILED和KILLED中的一種，程序就運行完成，并停止SparkContext。整個過程就結束了。
關于spark on yarn的兩種提交方式分別是什么就分享到這里了，希望以上內容可以對大家有一定的幫助，可以學到更多知識。如果覺得文章不錯，可以把它分享出去讓更多的人看到。
