Raspberry PiでHadoopクラスタを作ろうと思いまして、ゴニョゴニョしております。
写真のようにハードウェアは組み上がりました。
構成としては、
| 部品 | メーカー | 個数 |
|---|---|---|
| Raspberry Pi 2 B | 6 | |
| USB HDD 1TB | Trancend | 5 |
| Micro SD Class 10 | Sumsung | 6 |
| 100 Mbps 8ポート スイッチングハブ | Logitec | 1 |
| LANケーブル内部用50cm | 6 | |
| LANケーブル外部接続用 | 2 | |
| USB電源 50W 6ポート | Sanwa | 1 |
| 電源用 Micro USBケーブル | ダイソー | 6 |
| ラック | ダイソー | 1 |
です。
HDDの電源はラズパイのUSBから採っている。
OSは以下の方法を参考に入れたスペシャル版Ubuntu 14.04 Server。
第362回 Raspberry Pi 2でXubuntu 14.04を動かす：Ubuntu Weekly Recipe｜gihyo.jp … 技術評論社
HadoopはApache版2.6.0をARM用に自前ビルドしたものである。
マスター１台、スレーブ５台の構成です。冗長化とかは特にせず。*1
しかしながら、メモリががノードあたり1GBしかないので、YARNでMapReduceプログラムを動かそうとしても、リソースの取得で失敗します。ちょっとチューニングが必要そうです。
しかし、チューニングを始めようとしたら、かったばかりのハブが壊れてしましました。ハブを直してから、YARNについて検証します。
