namenode 出现 missing blocks的解决方案

今天测试服务器被突然重启,导致hdfs的页面显示 There are 2 missing blocks. The following files may be corrupted: blk_10784

Julyme

hadoop

2018-02-02

13000

0

YARN的job超过1万个后的优化

YARN提交的job超过1万个后,会出现一系列的REST API的问题和RM UI 的显示问题,例如:在RM UI 上值能看到第9999个job的状态信息,之后的信息看不到了。 YARN的默认保存数量

Julyme

hadoop

2017-07-03

4059

1

YARN告警 local-dirs are bad: /hadoop/yarn/local

今天发现YARN的任务都无法执行,一直报资源不足,但是查看内存等资源都是充足的,后来根据ambari的告警信息,发现是硬盘超过90%造成的,把硬盘容量减少到90%以下后yarn正常运行

Julyme

hadoop

2017-06-28

2272

0

Hadoop源码分析(一)——hdfs-client(2)

一、代码分析 通过执行代码来分析,hdfs-client在我们操作hdfs的文件时,做了些什么。 1、初始化Hdfs-Client URI uri = URI.create("hdfs://172.1

Julyme

hadoop

2017-05-04

607

0

Hadoop源码分析(一)——hdfs-client(1)

一、hdfs-client的程序包 从图中可以看出,一共有21个包。下面简单说明这些包用来存放哪些类。 1、client和client.impl:impl包里实现了一些block相关接口的实现类,cl

Julyme

hadoop

2017-05-03

466

0

windows读取hdfs文件需要的条件

一、配置hadoop的工作目录,配置方法有两种 1、修改电脑环境变量。增加HADOOP_HOME变量 2、或者在项目中修改 System.setProperty("hadoop.home.dir",

Julyme

hadoop

2017-03-06

601

0

hadoop-2.7.2-HA安装笔记

配置方案如图   NN DN ZK ZKFC JN RM NM(任务管理器)  HMaster  Region Server Node1 1   1 1   1      1 Node2 1 1 1

Julyme

hadoop

2016-11-02

1125

1

搜索文章

Julyme的IT技术分享



/sitemap