一、配置hadoop的工作目录,配置方法有两种
1、修改电脑环境变量。增加HADOOP_HOME变量
2、或者在项目中修改
System.setProperty("hadoop.home.dir", "...");
二、需要windows环境下编译生成的winutils.exe等文件
下载地址:https://github.com/Julyme/hadoop-common-2.2.0-bin
把bin/目录下的文件拷贝到hadoop的bin目录下
三、当写入文件时,会碰到hdfs的权限问题,可以修改提交作业的用户
在提交程序里通过代码临时设置指定HADOOP_USER_NAME的名字和linux上的一致
System.setProperty("HADOOP_USER_NAME", "...");
转载请注明出处: http://www.julyme.com/20170306/71.html
打赏一个呗~~(微信)
Julyme
感觉还行吧。
Julyme的IT技术分享