您好、欢迎来到现金彩票网!
当前位置:秒速时时彩计划 > 随机归约 >

如何设置增大hadoop里mapreduce任务的并发数?

发布时间:2019-05-20 15:57 来源:未知 编辑:admin

  但在默认情况下一次性下多个mapreduce任务,8088页面显示只会同时运行2个任务(处于running状态),其他任务都处于accepted状态等待,如果运行中的任务卡死,会导致整个任务流水线都卡死了。按主机性能来说肯定不止一次只能运行2个任务,所以想通过设置加大同时运行任务的数量。不过找了半天都没搞定,望高手指教一下!!!

  强调一下,是设置mapreduce任务的并发数,而不是每个任务里map和reduce的并发数。

  导致每次只有两个mr作业运行的原因可能是其他排队任务的AM分配的NM刚好是之前两个作业AM所在的节点,而AMcontainer是需要占内存和Vcore的,所以其他作业会等待排队。仅仅是个人思考,还需讨论

http://parroche-dorioz.com/suijiguiyue/45.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有