読者です 読者をやめる 読者になる 読者になる

Rasberry PiでHadoopクラスターを構築する。その1

手慰み 計算機

f:id:fjkz:20150517103731j:plain

Raspberry PiでHadoopクラスタを作ろうと思いまして、ゴニョゴニョしております。

写真のようにハードウェアは組み上がりました。

構成としては、

部品 メーカー 個数
Raspberry Pi 2 B 6
USB HDD 1TB Trancend 5
Micro SD Class 10 Sumsung 6
100 Mbps 8ポート スイッチングハブ Logitec 1
LANケーブル内部用50cm 6
LANケーブル外部接続用 2
USB電源 50W 6ポート Sanwa 1
電源用 Micro USBケーブル ダイソー 6
ラック ダイソー 1

です。

HDDの電源はラズパイのUSBから採っている。

OSは以下の方法を参考に入れたスペシャル版Ubuntu 14.04 Server。

第362回 Raspberry Pi 2でXubuntu 14.04を動かす:Ubuntu Weekly Recipe|gihyo.jp … 技術評論社

JavaOracle JDK7 armhf。

HadoopApache版2.6.0をARM用に自前ビルドしたものである。

マスター1台、スレーブ5台の構成です。冗長化とかは特にせず。*1

とりあえずHDFSクラスタとしては動作しました。。

しかしながら、メモリががノードあたり1GBしかないので、YARNでMapReduceプログラムを動かそうとしても、リソースの取得で失敗します。ちょっとチューニングが必要そうです。

しかし、チューニングを始めようとしたら、かったばかりのハブが壊れてしましました。ハブを直してから、YARNについて検証します。

*1:メタデータのバックアップは少なくともしないと