博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Max block location exceeded for split
阅读量:2395 次
发布时间:2019-05-10

本文共 4639 字,大约阅读时间需要 15 分钟。

最近hive执行报如此的警告,然后hive进程死掉了,很长时间不运行。

通过查看日志发现有以下这样的警告信息:

2012-10-24 06:26:41,722 [Main Thread] WARN  split.JobSplitWriter (JobSplitWriter.java:writeOldSplits(161)) - Max block location exceeded for split: Paths:/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000000_0:0+531,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000001_0:0+359,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000002_0:0+478,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000003_0:0+447,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000004_0:0+580,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000005_0:0+417,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000006_0:0+632,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000007_0:0+723,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000008_0:0+449,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000009_0:0+398,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000010_0:0+382,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000011_0:0+497,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000012_0:0+230,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000013_0:0+567,/tmp/hive-hadoop/hive_2012-10-24_06-25-23_539_6145998952606508417/-ext-10003/000014_0:0+387 Locations:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:slave9:slave8:slave7:slave1:slave2:slave3:slave4:slave5:slave6:; InputFormatClass: org.apache.hadoop.mapred.TextInputFormat

 splitsize: 405 maxsize: 10

 

解决方式:

hive里设置mapred.reduce.tasks参数导致。需要当心。 出现这种现象还是要多留意下。

这里纠正下错误,这里不是设置该参数导致,而是因为有一台机器安装了一个负载较大的运行软件导致。现在已经把该节点退出集群。

 

 

转载地址:http://wlzob.baihongyu.com/

你可能感兴趣的文章
正好碰到了C++的函数对象,查各路资料,总结写下来吧
查看>>
今天试vi遇到的“Sorry,the command is not available in this version : syntax on”
查看>>
今天又搞到个libDTL.so is not an ELF file - it has the wrong magic bytes at the start.
查看>>
MinGW和vc6中编译DTL的过程
查看>>
Fedora13下为postgresql添加ODBC驱动过程
查看>>
Bridge模式学习
查看>>
Virtual的一些总结
查看>>
Fedora13上折腾了下ACE
查看>>
tomcat keepAliveTimeout=0问题
查看>>
JDK1.6在SUSE11下问题跳变定时任务失效问题记录
查看>>
400 Bad request 一例
查看>>
fedora4上安装gcc2.9,编译安装rainbow过程
查看>>
求质数算法的N种境界 (N > 10)
查看>>
一个简单的linux下原生socket的tcp程序及其修改
查看>>
JSP的入门简介
查看>>
JSP中的基本语法和3指令,6动作,9内置对象
查看>>
JSP的6个动作
查看>>
JAVA中的数据类型和方法重载
查看>>
常见面试题——斐波纳挈数列
查看>>
我的第一篇hibernate框架博客
查看>>