clouera

clouera

偶然发现集群中两台机器内存占用存在异常，仔细排查之后，发现是clouera-scm-agent进程作怪。正常的机器里，该进程虚拟内存和物理内存占用，分别是2G和50M左右，而它们两个则分别达到了7G和5G左右。查看问题机器的该进程日志（默认路径/var/log/cloudera-scm-agent/cloudera-scm-agent.log），看到频繁的出现下列提示：

[20/May/2015 14:19:15 +0000] 25686 MainThread agent        WARNING  Expected user httpfs for /mylogs/hadoop-hdfs/stacks but was hdfs
[20/May/2015 14:19:15 +0000] 25686 MainThread agent        WARNING  Expected group httpfs for /mylogs/hadoop-hdfs/stacks but was hdfs
[20/May/2015 14:19:15 +0000] 25686 Thread-13 downloader   INFO     Starting download of: cmhost:7180/cmf/parcel/download/CDH-5.1.2-1.cdh5.1.2.p0.3-el6.parcel
[20/May/2015 14:19:15 +0000] 25686 Thread-13 downloader   ERROR    HTTP error during download

先来解决第一个问题。

从提示中逮到了三个关键字：httpfs、/mylogs/hadoop-hdfs和hdfs。这些关键字都透露着与HDFS服务密不可分的关系，所以在HDFS的配置里分别搜索这三个关键字，发现了一些蛛丝马迹：httpfs是HttpFS服务的用户；/mylogs/hadoop-hdfs是HttpFS服务和HDFS服务的日志目录（重定向的）。明白怎么回事了：HttpFS服务的日志目录要求用户是httpfs，但是/mylogs/hadoop-hdfs已经是HDFS服务的日志目录了，所以用户已然成为了hdfs。解决方法很简单，为HttpFS服务重新指定一个日志目录即可，然后上述的两个WARNING就没有了。

再来解决第二个问题。

集群目前CDH版本为5.2，是从之前的5.1.2升级而来的。而出问题的两台机器是之后加入的，加入时集群已经升级到了5.2版本。从错误提示看，这两台机器企图去下载之前的5.1.2版本。由于CM提供了在管理的多个CDH版本之间的切换，所以即使当前版本是5.2，但是CM检测到新加入的两台机器上没有之前的版本时，还会要求这些机器去下载。当然此处下载报错是因为在加入这两台机器之前，5.1.2的parcel已经删除了。

所以有两个解决方法：如果以后还想使用5.1.2版本，则提供其parcel以供下载。否则，就消除这个下载任务。我们采用了第二种解决方法，具体实现是：在CM的Parcels界面，删除CDH-5.1.2-1.cdh5.1.2.p0.3-el6（安装新的CDH Parcel后，旧的处于去激活状态，可以激活它，也可以删除它）。然后上述的下载错误提示也就消失了。