`

hadoop运维笔记1

 
阅读更多

hadoop使用中的几个小细节(二)

1 某次正常运行mapreduce实例时,抛出错误

java.io.IOException: All datanodes xxx.xxx.xxx.xxx:xxx are bad. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2158)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

java.io.IOException: Could not get block locations. Aborting…

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.processDatanodeError(DFSClient.java:2143)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream.access$1400(DFSClient.java:1735)

at org.apache.hadoop.dfs.DFSClient$DFSOutputStream$DataStreamer.run(DFSClient.java:1889)

经查明,问题原因是linux机器打开了过多的文件导致。用命令ulimit -n可以发现linux默认的文件打开数目为1024,修改/ect/security/limit.conf,增加hadoop soft 65535

再重新运行程序(最好所有的datanode都修改),问题解决

P.S:据说hadoop dfs不能管理总数超过100M个文件,有待查证

2 运行一段时间后hadoop不能stop-all.sh的问题,显示报错

no tasktracker to stop ,no datanode to stop

问题的原因是hadoop在stop的时候依据的是datanode上的mapred和dfs进程号。而默认的进程号保存在/tmp下,linux默认会每隔一段时间(一般是一个月或者7天左右)去删除这个目录下的文件。因此删掉hadoop-hadoop-jobtracker.pid和hadoop-hadoop-namenode.pid两个文件后,namenode自然就找不到datanode上的这两个进程了。

在配置文件中的export HADOOP_PID_DIR可以解决这个问题

分享到:
评论

相关推荐

    大数据云计算技术 Hadoop运维笔记(共21页).pptx

    Hadoop在蓝汛 说说Cloudera和它的产品们 运维杂记——几次重大事故

    华为工程师linux的笔记-第3章 .pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师总结linux笔记.pdf

    能优化、大数据量备份、Shell 企业实战基础、Shell 实战高级编程、自动化运维趋势、 Puppet 自动化运维实战、Ansible 自动化运维实战、Jenkins 企业级自动化实战、企业 级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第5章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第2章 .pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    龙果学院 elasticsearch 72讲笔记

    s这门技术有点特殊,跟比如其他的像纯java的课程,比如分布式课程,或者大数据类的课程,比如hadoop,spark,storm等。不太一样 2、es非常重要的一个api,是它的restful api,你自己思考一下,掌握这个es的restful ...

    华为工程师linux笔记-第1章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第6章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第7章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第8章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第9章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第10章 .pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第4章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第12章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第11章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第13章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    华为工程师linux的笔记-第14章.pdf

    Linux性能优化、大数据量备份、Shell企业实战基础、Shell实战高级编程、自动化运维趋势、Puppet自动化运维实战、Ansible自动化运维实战、Jenkins企业级自动化实战、企业级高并发网站集群、Docker、K8S、Hadoop、Ceph...

    notes:我的笔记-PWA笔记本

    沙里亚尔的笔记 原则 比特科技 算法 CI / CD 开发运维 地理信息系统 集成开发环境 3D 资源 概念 统一 虚拟现实 云 云 蔚蓝 Kubernetes 语言能力 Java s VueJS 打字稿 React p Cpp C# F# 去 斯威夫特/ ...

    AgeFades-Note:记录AgeFades学习成长笔记

    运维基于CentOS 的基础服务搭建、Docker 容器化技术以及 K8S 服务网格化技术的学习记录。常见服务如 Nginx、Iptable 规则、安全防范等等...数据库MySQL、Oracle 关系型数据库Redis、Mongo、ES... 常用NoSQL大数据...

    leetcode题库-AgeFades-Note:记录AgeFades学习成长笔记

    运维 基于CentOS 的基础服务搭建、Docker 容器化技术以及 K8S 服务网格化技术的学习记录。 常见服务如 Nginx、Iptable 规则、安全防范等等... 数据库 MySQL、Oracle 关系型数据库 Redis、Mongo、ES... 常用NoSQL ...

Global site tag (gtag.js) - Google Analytics