我知道有很多有关此异常的帖子,但是我无法解决此问题。我认为必须解决Classpath的问题。我试图在hadoop基础结构中运行一个名为DistMap的程序。这是我得到的错误。 Caused by: java.lang.ClassNotFoundException: org.apache.hadoop.util.PlatformName at java.net.URLClassLoader$1.run(URLClassLoader.java:202) at java.security.AccessController…

2020年12月1日 0条评论 21点热度 阅读全文

在小型HBase群集中,所有从节点都重新启动。当我启动HBase服务时,其中一个表(测试)变成不一致。 在HDFS中,缺少某些块(hbase块)。因此它处于安全模式。我给了safemode -leave命令。 然后HBase表(测试)变得不一致。 我执行了以下提到的操作: 我执行了几次“ hbase hbck ”。发现表“test”的不一致之处2。ERROR: Region { meta=>test,1m\x00\x03\x1B\x15,1393439284371.4c213a47bba83c47075f21…

2020年11月29日 0条评论 70点热度 阅读全文

我正在尝试使用以下代码连接到Kerberized hdfs集群,使用下面的相同代码,我可以使用HBaseConfiguration访问类(class)的hbase, Configuration config = new Configuration(); config.set("hadoop.security.authentication", "Kerberos"); UserGroupInformation.setConfiguration(config); UserGroupInformation ugi = n…

2020年11月28日 0条评论 20点热度 阅读全文

我已经按照here中给出的说明设置了“hadoop”。我已成功下载并部署了它,并且能够运行除historyserver以外的所有守护程序并运行示例程序。当我运行sbin / yarn-daemon.sh启动historyserver时,显示以下错误。 Exception in thread "main" java.lang.NoClassDefFoundError: historyserver Caused by: java.lang.ClassNotFoundException: historyserver at…

2020年11月10日 0条评论 24点热度 阅读全文

我试图让Sqoop在Java上运行,并发现以下问题: How to use Sqoop in Java Program? 看来这正是我所需要的,除了我找不到“勺 jar ”的Maven回购协议(protocol)。我正在使用cdh4.2,我们的sqoop版本是Sqoop 1.4.2-cdh4.2.1 注意:我添加了一个仓库,但是仍然无法访问诸如ExportTool(),ExportTool()甚至Sqoop之类的对象? 解决方案如下: 该 Artifact 的Maven回购例如是:http://www.maven-…

2020年11月8日 0条评论 22点热度 阅读全文

我刚刚开始使用hadoop / hbase MapReduce工作(使用cloudera),但我有以下问题: 假设我们有一个带有主要和静态viariable的java类。该类定义与Mapper和Reducer任务相对应的内部类。在启 Action 业之前,主程序初始化静态变量。在Mapper类中读取此变量。然后使用群集上的“hadoop jar”启动该类。 我的问题:我看不到其他节点上的Map和Reduce任务如何看到该静态变量。是否有任何允许节点共享jvm或静态变量的“hadoop魔术”?这怎么工作?我必须在一个…

2020年9月22日 0条评论 19点热度 阅读全文

我正在运行此查询: Set hive.limit.query.max.table.partition=9000;select distinct ps169 as hotel_code,pd5 as city_code,datediff(to_date(pd32),to_date(FROM_UNIXTIME(UNIX_TIMESTAMP()))) as ap1,ps180 as los from camustest.a_1229 r join ht.ttl_values ttl on r.ps169=ttl.hote…

2020年9月9日 0条评论 25点热度 阅读全文

是否有检查CDH上Avro库版本的机制? 我知道Avro库取决于项目中的依赖关系,但我已经看到默认情况下,Hadoop集群的节点上存在库所在的位置。有没有一种方法可以默认检查CDH发行版中包含的Avro版本? 即使我们将Avro与 hive 一起使用,Avro版本也是CDH自己采取的,而没有单独的配置(在CDH中)。 我想知道如何检查该Avro版本。 解决方案如下: 您可以运行avro-tools,它应该告诉您所用的Avro版本。 $ avro-tools Version 1.7.6-cdh5.14.0-SNAPS…

2020年9月8日 0条评论 26点热度 阅读全文

当我构建accummulo-1.4.3-cdh43.tar.gz中包含的示例简单Maven项目时 我正在使用设置为jdk1.6.0.32的Java平台的netbeans。 我因错误的测试而导致测试失败:test(org.apache.accumulo.examples.simple.filedata.ChunkInputFormatTest) 这是输出: T E S T S 运行org.apache.accumulo.examples.simple.filedata.ChunkInputFormatTest测试运行…

2020年9月4日 0条评论 21点热度 阅读全文

我拼命尝试执行EnronMail mongo-hadoop连接器示例(https://github.com/mongodb/mongo-hadoop/wiki/Enron-Emails-Example)没有成功。我收到此错误: 15/11/18 11:56:23 INFO util.MongoTool: Created a conf: 'Configuration: core-default.xml, core-site.xml, mongo_enron.xml, mapred-default.xml, mapre…

2020年9月2日 0条评论 24点热度 阅读全文