Tech Sketch Bucket of Technical Chips by TIS Inc.

Hadoop Vaidyaを用いてMapReduceタスクの性能を診断する

Pocket

はじめに

「Hadoop」の「MapReduce」で提供している「カウンター」機能は、ジョブ(MapReduceの実行単位)の統計値を取得できる組み込み機能で、ユーザーで定義することが可能です。例えば、ジョブ実行時の読み込みバイト数やCPU時間、物理メモリ使用量といったリソース情報の統計値が取得可能で、MapReduceタスクの性能分析に役立てることができます。
Apache HadoopのMapReduceに含まれている、 「Vaidya」 (「ヴァイジャ」サンスクリット語で「医師」)は、ジョブの統計値を用いて、MapReduceタスクの性能診断を行うフレームワークです。Vaidyaを利用することで、統計値からイレギュラーなリソース使用を示すMapReduceタスクを判定するといった、性能診断プログラムを容易に作成し、実行することができます。