Rasberry PiでHadoopクラスターを構築する。その１

Raspberry PiでHadoopクラスタを作ろうと思いまして、ゴニョゴニョしております。

写真のようにハードウェアは組み上がりました。

構成としては、

部品	メーカー	個数
Raspberry Pi 2 B		6
USB HDD 1TB	Trancend	5
Micro SD Class 10	Sumsung	6
100 Mbps 8ポート スイッチングハブ	Logitec	1
LANケーブル内部用50cm		6
LANケーブル外部接続用		2
USB電源 50W 6ポート	Sanwa	1
電源用 Micro USBケーブル	ダイソー	6
ラック	ダイソー	1

です。

HDDの電源はラズパイのUSBから採っている。

OSは以下の方法を参考に入れたスペシャル版Ubuntu 14.04 Server。

第362回 Raspberry Pi 2でXubuntu 14.04を動かす：Ubuntu Weekly Recipe｜gihyo.jp … 技術評論社

JavaはOracle JDK7 armhf。

HadoopはApache版2.6.0をARM用に自前ビルドしたものである。

マスター１台、スレーブ５台の構成です。冗長化とかは特にせず。*1

とりあえずHDFSクラスタとしては動作しました。。

しかしながら、メモリががノードあたり1GBしかないので、YARNでMapReduceプログラムを動かそうとしても、リソースの取得で失敗します。ちょっとチューニングが必要そうです。

しかし、チューニングを始めようとしたら、かったばかりのハブが壊れてしましました。ハブを直してから、YARNについて検証します。

*1:メタデータのバックアップは少なくともしないと