GEAで遊ぶ3

とりあえず、タスクの並行処理の所までは作成完了。1分起きcron*5でがんがんクローリングしまくる。が、思ったより、CPUの使用率の上昇が早い。2ヶ月分ぐらいのホッテントリをすべてクロールしただけで、一日のCPUコストの5%ぐらい使っていたりする。正直ローカルマシンよりかなり貧弱な感じ。CPUコストの節約を結構考えて、コーディングしなかればならないかもしれない。

とりあえず、どの程度の負荷まで耐えれるか、BigTableの1Gってどれくらいのデータ量なのかクローリングしまくって調べる予定です。