Tech Sketch Bucket of Technical Chips by TIS Inc.

【イベントレポート】ITRC RICC 第8回地域間インタークラウドワークショップ (Cloud Week 2015@Hokkaido University)

Pocket

諸般の事情によりイベントから記事公開までの日程が空いてしまいました。申し訳ありません

2015年9月7日(月)~9月9日(水)の3日間、北海道大学にてCloud Week 2015が開催された。本イベントは以下の3つのイベントの合同開催となっている。

  1. アカデミッククラウドシンポジウム2015
  2. オープンクラウドカンファレンス 2015
  3. ITRC RICC 第8回地域間インタークラウドワークショップ

Teck-scketch上で「アカデミッククラウドシンポジウム2015」および「オープンクラウドカンファレンス 2015」についてレポート公開している。今回は、最後の「ITRC RICC 第8回地域間インタークラウドワークショップ」についてレポートをさせて頂く。

ITRCとは日本学術振興会産学協力研究委員会 インターネット技術第163委員会であり、RICCとは地域間インタークラウド分科会である。

ITRC RICC 第8回地域間インタークラウドワークショップはインタークラウド上での大学・研究所などの学術機関の活用事例についてが主なテーマだが、今回は分散ストレージと分散コンピューティングが主なテーマとなっている。招待を受けたパブリッククラウドのストレージサービスベンダ2社もインタークラウドストレージをテーマに講演を行っている。


DESTCloud のこれまでとこれから

大阪大学 柏崎 礼生先生のご講演

DESTCloud プロジェクトとはインターネットに代表される分散システムに対して故意に障害を発生させることで災害訓練を行い、分散システムの検証を能動的に行う SDDE (Software Defined Disaster Emulation) プラットフォームを開発するプロジェクトの現状報告となっている。資料はこちらで公開されている。述べられていた概要は以下となる。

DESTCloudは昨年(2014年)の11月に命名された。本PJが立ち上げられた経緯はスーパーコンピュータ京でデータ破損が発生したのが原因。そのデータ破損が発生していることを指摘したのが柏崎先生だった。原因としては落雷が発生し、京で使用していたストレージのファームウェアが破損したことにより、誤った状態のデータが書き込まれていることが原因だった。

柏崎先生が行われている「映像アーカイブスを利用した大規模メタデータ基盤の構築」検証では98Tものデータを保有している。概要としては映像と音声と文字を集めてビックデータを作成して解析するサービスの開発を行っている。これをAWSで構築すると$3,220/月ものコストがかかってしまう。

RICCの活動で、1文字違いのDISTCloudプロジェクトも行っている。富山・大阪・東京の3拠点を巨大なDRストレージとして利用する検証を実施した。2013年には太平洋横断で環境を構築し,VMwareの仮想マシンのライブマイグレーション実験に成功している。2015年には日本全国の大学とカリフォルニア大学サンディエゴ校にも接続し、さらに民間企業とも接続を予定している。

DESTCloudは総務省より補助金事業として検証を行っている。災害対策は非常に重要である。国土交通省 東北地方整備局が執筆した災害対策初動期指揮心得は良書であるので是非読んでほしい。Amazon Kindle Storeでは0円で購入できる。

DR対策の企業・自治体の取り組み状況の調査資料がPWC社よりIT-BCP survey 2014として公開されている。DR対策を実施済みとの調査は金融や電気・ガスなどの社会インフラ企業は100%実施している。たたそれ以外の企業については実施率が低い。地方自治体はほとんど対応ができていない。では実際に災害対策訓練はしていますか?となると金融機関でも50%以上が行っていないのが現状である。

南海トラフによる地震において高知県は津波による大きな被害が予測されている。高知大学では災害対策に積極的に取り組むだけでなく、実際に災害が発生した場合に備えて検証を行っている。これまでの災害対策の検証は「起きて欲しい時間帯に起きて欲しいことが起こる」状態になっている。

災害対策の精度を高めるためには発生しうる災害についてもれなく検証を行う必要がある。それを解決可能なものと解決不可能なものに分類して、解決可能な有限の集合だけテスト・評価を行う。1年目である今年は1千万件、2年目は4千万件を選抜試験付きで検証を行う予定である。このtest betに実際に効果があるのかを事業化も含めて検証を行う。今年度はこの後、招待講演を頂く、クラウディアン社、スキャリティ・ジャパン社と協業で検証を行う。


招待講演:インタークラウドストレージの検討

クラウディアン株式会社 太田 洋さんのご講演

講演の資料はこちらで公開されている。クラウディアン株式会社の提供するオブジェクトストレージ製品であるCloudian Hyperstoreのご紹介とインタークラウドの将来像についての講演だ。述べられていた概要は以下となる。

クラウディアン社では汎用的なLinuxサーバをベースとしたストレージサーバとIAサーバを組み合わせることで高可用性なSDSを構成するCloudian Hyperstoreというパッケージ製品を提供している。ノード間ではデータをDRようにレプリケーションしている。書き込まれたデータをLBで分配して、論理リング上のストレージに分散配置している。既存のストレージも利用可能で低価格・大容量のSDSを構築できる。

インタークラウドストレージには「可用性の保証」「容量および性能の保証」「利便性・経済性の保証」が求められている。複数クラウドの同時利用にはハイブリッドクラウドとインタークラウドが存在する。ハイブリッドクラウドはパブリッククラウドとオンプレミスの組み合わせ。インタークラウドはパブリッククラウド同士、オンプレミス同士の組み合わせと考えている。

ハイブリッドクラウドに関しては既に実現している。利用も拡大することから通信方式や事業者間課金などの方式のを統一する必要が発生し、携帯電話の接続のように標準化が行われることが避けられない。インタークラウドの場合、遠距離まで全てリアルタイムで同期を行うのは通信負荷などの面で現実的ではない。地域内の閉じた世界で冗長化を構成し、遠隔地は疎結合とするのが望ましい。

ユーザのデマンドはコストと自由度が優先される。クラウド間を接続する為にインテリジェントクラウドコネクタの開発が必要となる。利用者や端末からは1つのクラウドとして利用が行え、コンピュータ・ストレージのダイナミックなリソースの貸し借りが可能となる状態を実現できる。

インタークラウドストレージの実証実験を多くの大学と共同し、全国10拠点を接続して実施することを予定している。拠点間バックアップやレプリケーションについては検証計画ができているが、実際の使用方法を想定したシミュレーションやクラウドコネクタのアルゴリズムなどについては、今後の課題となっている。


招待講演:Software Defined Storageを用いた広域分散構成の考察

スキャリティ・ジャパン株式会社 矢澤 祐司さんのご講演
講演で使用した資料はこちらで公開されている。スキャリティ社のSDS製品であるScality RINGのご紹介だ。述べられていた概要は以下となる。

スキャリティ社は2009年にパリで起業した。導入事例としてはLos Alamos国立研究所では500PBものデータをケーブルテレビのCOMCASTでは650億オブジェクトを動画配信のDailyMotionでは月間30億回ものストリーミング配信に対応をしている。事例としては公開していないが、アメリカの軍事関連の政府機関でも利用している。

Scality Ringの主な特徴は以下である。

  1. 汎用的なIAサーバが利用可能で、コストが低く、高い拡張性が実現できる
  2. 柔軟かつ信頼性の高いデータの広域分散が行え、耐障害性も高く、復旧速度も速い
  3. GUIおよびCLIが使いやすい
  4. ファイルシステムやクラウドストレージなどの各種接続プロトコルに対応している。

各ストレージをリング構造で接続し、アクセス負荷はLBで制御する。分散ストレージへのアクセスを高速化する為、ローカルにキャッシュを保持することも可能。分散配置の方式は以下の2方式となる。まず、レプリケーションは32MB単位でスプリット配置を行う。イレイジャーコーディング(ARC)はRaid6構成のようにデータ×4とパリティ×2で構成される4MB単位でスプリット配置される。

矢澤さんは前職ではYahoo Japanの数PBに及ぶ大容量ストレージの運用をされていた。ハードディスクのRaidでは再構成中に別のディスクが障害となるケースが非常に多く、Raid5は実際には冗長性無しと考えたほうが良く、Raid6でも1本の故障までしか許容できない。ハードウェアRaidは破たんしていると考えたほうがよい。RaidとレプリケーションとARCのシステムの信頼性は以下となる。

アクセス性能ではレプリケーション、実効容量ではイレイジャーコーディングの方が良い。ただ大容量のシーケンシャルデータはイレイジャーコーディングの方が早い。

分散ストレージのリング構成は以下の組み合わせが考えられる。

  1. ミラーRING : 複数拠点にリング構成を2個もち完全に複製を保持する方式
  2. ストレッチRING : 複数拠点で大きな1つのRINGを構成する方式
  3. ジオレプリケーション : 各拠点に1つのメタデータ(ミラー)用RINGを拠点間の共用に実データ用のストレッチRINGを構成する方式

広域にわたる分散ストレージを構成する場合、ジオレプリケーション方式にすることが望ましい。

冗長化を考えるに当たり、実効容量も大切だが、同時に何拠点までダウンしてさらにストレージがn台まで壊れることを許容できるかを決めることが大事だ。実際、同一の地域に存在するものは建物が別れていても分散ストレージとは呼べない。なぜなら地域が停電すれば停止となってしまうからだ。本当に独立した拠点であるかを考える必要がある。


インタークラウドデータ基盤上でのDR実装の検証

大阪大学 中川 郁夫先生のご講演
講演で使用した資料はこちらで公開されている。インタークラウド上の広域分散ストレージDISTCloudのDR機能の実装と検証についてだ。述べられた概要は以下となる。

インタークラウドは多くのユースケースが想定される。例えば、出張先から快適にVDIを利用する、大規模災害時のBCP対策、グローバルなIoT基盤の構築など。インタークラウドの実現に向けた取り組みとして、データ共有部分(SDS)にフォーカスをあてて、広域分散ストレージDISTCloudの検証を行っている。

DISTCloudではクラウド間をまたがる形で透過的なデータ共有を実現している。マルチクラウドに対応し、全ての拠点がActiveで利用でき、通信遅延の影響が大きき遠隔地でも地理的分散の冗長化も実現している。利用者からは1つの巨大なPOSIXとして利用が可能である。

分散ストレージとしての性能確保の為には潤沢に使えるネットワークが必要であり、そのため、SINETを利用して接続を行っている。今後はさらなるスループットの向上、3拠点以上のALL Active、通信遅延の九州、長距離の高速マイグレーションなどのを実現していく予定である。

DISTCloudのDR検証としてRDBを利用した対障害実験を実施した。RDBの設計、実装をグローバル広域分散への対応、3サイト以上の完全分散、強整合性を持ったPOSIXファイルシステムを持つこととした。ただRDBであるため更新系の分散は不可能であり、その部分はMaster-Slave構造にするしかない。

実際にMasterをダウンさせ、Slaveが昇格し処理を再開するテストを実施した。ダウン検出まで30秒、切り替わりまでの間で20秒かかり約50秒で切替が行われた。整合性についても上記停止時間以外には一切問題は発生しなかった。RDBクライアント側に手を入れる必要もなく、RDBごとに特殊な設定も不要である。

今後はDRに関する機能・性能の検証、外部からのアクセスの継続性の実現、上位アプリケーションへの影響の確認などを予定している。今後もDISTCloud PJでは継続して実装、検証を推進していくので参加者絶賛募集中とのこと。


耐災害性・耐障害性検証プラットフォームの開発と評価実験

金沢大学 北口 善明先生のご講演
DESTCloudプロジェクトで広域ネットワーク障害の検証についての講演だ。述べられた概要は以下となる。

DESTCloudは災害時をエミュレートして防災訓練を行うためのクラウドの開発を行っている。対災害性・耐障害性検証を行うプラットフォームとなる。高知大学で行われた防災検証の結果を反映し、問題点の解決を図っている。実際に障害時の検証を行おうとするとシステムログが膨大すぎて十分な検証が困難となる。その為、多発的なネットワーク障害を自動生成して評価する仕組みが必要となった。

災害・障害をエミュレートする検証プラットフォームにはシナリオからのネットワーク障害の自動生成や実ネットワークに対する災害のエミュレートや障害の状態の自動収集などが求められる。災害の検証の為には「壊す為のSDN」が必要となる。

その機能の実現の為にCISCO社が提供するオープンなSDN開発用APIのOne Platform Kit(OnePK)を採用した。特徴は以下が挙げられる。

  1. 優先順位を持たせた経路制御が可能
  2. レガシーな経路制御による運用が可能
  3. トラフィック制御以外の機能も充実(ネットワーク状態の収集が可能)

現在、検討中の災害分類パターンは以下となる。

2014年度はSCOPEの予算で検証を実施した。今年は検証範囲を拡大し、OpenDaylighを利用して開発を行っている。SDNコントローラを活用しネットワークログも収集している。将来的にはDESTCloud Platform Controllerを開発し、障害シナリオを元にSDN制御を実現する。ユーザインターフェースとしてGUIも開発することを予定している。今年度中に開発を終えて評価を実施したいと考えている。


Overlay Cloudで構成するバイオインフォマティクス論文再現環境構築事例

国立情報学研究所(NII)の横山 重俊先生のご講演
講演に使用された資料はこちらで公開されている。Dockerを利用した遺伝子工学論文の検証環境の再現環境構築の事例紹介だ。述べられた概要は以下となる。

データセントリックサイエンスの台頭により論文再現環境の必要性が発生した。検証に使用した塩基データはバイオインフォマティクス公開DBに登録をしないと論文が通らない時代となった。ゲノム解析や論文検索を行えるクラウドサービスも多数提供されている。

ゲノム解析のGalaxyを利用できるピタゴラギャラクシーやGVL、論文をイメージ保存し再構成、表示が行えるCloudLabなどが提供されている。

バイオインフォマティクス公開データベース(INSDC)は日本のDDBJ、アメリカのNCBI、欧州のENA/EBIが共通されたフォーマットで塩基配列を登録しており、登録された塩基配列はだれでも制限無しに利用できる。アカデミックインタークラウド上で論文実験環境再現基盤が必要とされているが、環境の構築の為には以下の課題が存在する。

  1. データの巨大化、大規模分散データへの対応
  2. データ解析処理量の増大への対応
  3. データ処理ソフトウェアの複雑化への対応

単一のクラウドでは課題に対応することが困難であるため、各大学・研究機関のリソースを共同利用できるアカデミックインタークラウドの実現が必要となっている。

インタークラウドであるため、利用できる環境が状況によって異なる。その為、処理要求に応じ、実行環境を都度構築するOverlay Cloudを実現する必要が発生している。このOverlay Cloudの実現にDockerが非常に有効である。今までの仮想マシンの配置に比べて、プラットフォームごとの差異も少なく、非常に短時間に環境の構築が行えている。

実際にOverlay Cloudをバイオフォマティクス論文再現環境の構築に利用している。前述のGalaxyを実行させる環境を構築している。プラットフォームはNII環境、北海道大学環境、AWSを利用している。環境構築にはHashiCorp社のOSS製品のTerraformを利用している。FANTOM5に対応した基礎解析パイプラインの再現実験を行っている。ワークフローのフレームワークの制御にはApache Auroraを利用した。この実行環境構築のサンプルはピタゴラギャラクシーにも提供し、活用されている。

ゲノム解析のフレームワークの中ではTophat2の処理に時間がかかっている。現状は8時間ほどかかっているが、この部分を分散処理にして高速化を図りたい。

今後の展開としては以下を実現したいと考えている。

  1. バイオコミュニティでの利用定着
  2. 適用対象パイプラインの拡大
  3. 広域分散時のコンテナ配置最適化

最後に「コンテナ、つこうてな!」と呼びかけて講演を終了されていた。


まとめ

Cloud Week 2015 @ 北海道大学の3つのイベントについてレポートを行った。3日間、33件もの講演だったこともあり、クラウドという共通テーマが存在したが、内容も多岐に渡り、ボリュームも多かった。

 IT企業の立場から見ると、やはり、大学・研究機関は一歩も二歩も先の技術を意欲的に挑戦的に利用し、目覚ましい成果を上げている。各実験のベースとなっているのは大学・研究機関を高速で接続しているSINETの存在だと感じた。SINET5は各大学・研究機関を40Gbpsもの高速なネットワークで接続しており、しかも無償で利用できる。法人利用の場合もパブリッククラウドベンダーにおいて、拠点間の高速ネットワークを安価又は無償で利用できるサービスも増えてきている。

 クラウドとネットワークを活用したハイブリッドクラウド、インタークラウドの分野は今後、益々の発展が見込まれる。産業界は学術研究機関とさらなる連携を深め、より良いサービスを提供していく為に努力する必要がある。

その為の情報共有の機会として、本イベントは非常に有用であった。今後もこのような機会があれば積極的に参加していきたい。 Cloud Week 2015 @ 北海道大学でご講演頂きました講師の方、参加された皆様、ありがとうございました。

最後にクラーク博士の像をカメラに収めて、札幌を後にした。

エンジニア採用中!私たちと一緒に働いてみませんか?