博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
hadoop问题锦集(一):mapreduce不能在集群中运行
阅读量:5008 次
发布时间:2019-06-12

本文共 961 字,大约阅读时间需要 3 分钟。

问题详细:

  搭建类hadoop的集群集群环境,查看hadoop dfsadmin -report 也有datanode节点.在master:50070上也有.

  然而在eclipse环境上运行mapreduce的程序时,却发现每次都是直接在本地上跑,并没有在集群上运行程序!

 

解决办法:

  =>mapred-site.xml里面mapreduce.jobtracker.address 这个属性没有配置,

    那么程序就会在导入的hadoop-mapreduce-client-core-2.5.2.jar包下去读mapred-default.xml的默认配置:local!  

mapreduce.jobtracker.address
local
The host and port that the MapReduce job tracker runs at. If "local", then jobs are run in-process as a single map and reduce task.

  将上面的local改为你的namenode:port即可:

  例如(我的配置):

  

mapreduce.jobtracker.address
master:9000
The host and port that the MapReduce job tracker runs at. If "local", then jobs are run in-process as a single map and reduce task.

  当然,这个修改最好是在你的hadoop_home/etc/hadoop/mapred-site.xml(conf下)修改.全局环境下都生效.

转载于:https://www.cnblogs.com/not-NULL/p/5053173.html

你可能感兴趣的文章
集合已修改;可能无法执行枚举操作
查看>>
javascript变量及命名规范
查看>>
如何让pl/sql developer记住密码,实现快速登录
查看>>
如何利用微软本身的库做个数据库客户端的配置
查看>>
【当前工作感受系列】
查看>>
温故而知新 Volley源码解读与思考
查看>>
Mybatis和JDBC区别
查看>>
pcre库之ovector[OVECCOUNT]数组的理解
查看>>
FileRegistrationHelper 为文件类型注册默认打开方式
查看>>
城市列表
查看>>
python学习 day08 (3月13日)----函数
查看>>
12: xlrd 处理Excel文件
查看>>
综合练习:词频统计
查看>>
Ubuntu 安装Guake
查看>>
中文url编码乱码问题归纳整理一
查看>>
Ruby
查看>>
安装PowerDesigner 12之后,在Microsoft Office Word 2003的模板和插件中无法移除WordToRqm.dot的解决方案...
查看>>
Daily Scrum 12.12
查看>>
Cesium应用篇:3控件(3)SelectionIndicator& InfoBox
查看>>
58. Length of Last Word(js)
查看>>