IoT/ビッグデータ/AI連携時代のデータ管理とは？ · CLOUDIAN HyperStoreの特長...

IoT/ビッグデータ/AI連携時代のデータ管理とは？

2017年3月8日

クラウディアン株式会社本橋信也

本日のアジェンダ

• クラウディアンの紹介

• オブジェクトストレージ、３つの特長

• IoT/ビッグデータ/AI連携事例

• 連携時代のデータ管理

© 2017 CLOUDIAN KK2

クラウディアンのご紹介

2001

2011$79M

日本生まれシリコンバレー本社

一流の投資家

100

経験豊富な人材が集結

Global

グローバルに展開


2017年1月諏訪湖浜ノ湯Sales Kick Off

ソフトウェアによるオブジェクトストレージ製品（SDS: Software Defined Storage)


ソフトウェア製品アプライアンス製品 OEM製品

Lenovo Storage DX8200C powered by CLOUDIAN

HyperStore 1500 Appliance

HyperStore 4000 Appliance

オブジェクトストレージ：世界で採用が本格化


14%

15%

18%

26%

35%

18%

23%

19%

18%

13%

22%

26%

22%

23%

24%

14%

12%

13%

14%

10%

8%

4%

8%

6%

3%

13%

12%

14%

9%

9%

11%

8%

6%

4%

5%

0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%

ハイパーコンバージドインフラ

オールフラッシュアレイ

OpenStack

Software-Defined Storage

オブジェクトストレージ

本番環境で利用評価中/POC 検討中将来導入の可能性有評価したが使っていない検討対象外知らない

貴方の組織で、以下のストレージ技術の採用状況はどのようなものですか？

出典： IDC Storage User Demand Study (SUDS) Survey 2016, n=1,130

CLOUDIAN HyperStoreの特長

Amazon S3と同等のストレージシステムを構築し、運用できる

S3 API対応アプリ等を改修せずに活用できる

Amazon S3はAWSが提供するクラウドストレージサービスであり、そのAPIは公開されクラウドストレージの事実上の標準となっている







•大量の非構造化データ- ビッグデータ

•インターネット経由データ- http(s)

•データのデータ- メタデータ


特長1：構造化されていないデータを大量に保存

従来のデータベース処理に最適な構造化されたデータ

従来のデータベース処理には活用しない非構造化データ

企業データ全体の80％、年率50％で増加、と言われる


正規化

今後増加する非構造化データの種類

出典：『2015年国内企業のストレージ利用実態に関する調査：次世代ストレージへのトランスフォーメーション（IDC #J15630601、2015年12月発行』を基に作成

今後2年間での増加見込み（31％以上の増加を見込む回答率の割合）

0% 10% 20% 30%

ドキュメント/テキストデータ(n=620)

ログデータ(n=265)

電子メール(n=526)

アーカイブデータ(n=216)

バックアップ/レプリケーションデータ(n=302)

研究/開発/設計データ(n=345)

サーバー仮想化基盤向けデータ(n=112)

画像/動画/音声データ(n=525)

パブリッククラウドサービスインフラ向けデータ（n=87)

分析系データ（n=222)

映像コンテンツ(n=208)

IoT/M2M/センサーデータ（n=93)


特長2：インターネット経由で直接データを読み書き

レガシー型ストレージのインターネットアクセス（3層構造）

一般的なオブジェクトストレージのインターネットアクセス

オブジェクトストレージ

HTTP（S) サーバー

SAN（構造化）

http(s)http(s)


アプリケーションサーバー

DBサーバー

NAS（非構造化）

Web3層

特長3：データを管理するデータ（メタデータ）一体化

ファイルシステムオブジェクトベースのストレージシステム

C：/

fun

pic

http(s)://s3.cloudian.com/abc123def456/

メタデータ

データ

/c/fun/pic/party

オブジェクトID

日付、サイズ、カメラ、場所+ユーザー独自データ


BLOBJPG/TIFのような実際の写真データ

システムが自動的に付与するメタデータ• ファイル名• 撮影日: • サイズ• 撮影情報• ISO• デバイス• 撮影場所

ユーザ独自に付与するメタデータ（例）• 店名：＃恵比寿鳥〇

• 種類：＃ビール

• 人数：＃6人

• 同伴者：＃Gerson, ＃Arian, ＃Hayashi, ＃Dan, ＃Sean

• 背景：＃レストラン、＃夜

• 動作：＃乾杯

ユーザ/クライアントが独自に付与するメタデータ


製造・スマートファクトリー

医療・ヘルスケア

設備自動車・交通スマートハウス

防犯

小売り・広告・マーケティング

スマートビルディングスマートシティ

スマートプロダクツ

農業

スマート家電

物流

スマートグリッド

バイオ介護

観光

ﾒﾃﾞｨｱ･ｴﾝﾀｰﾃｲﾒﾝﾄ金融・コマース

通信

建設

IoTがビッグデータをWebからリアルの世界に


AIを使いビッグデータを分類整理

IoT AI

DATA STORAGE = problem

IoT

DATA

Passive Delayed AnalyticsStatic Data

BIG DATA

INFORMATION

SMART DATA

SMART DATA STORAGE = solution

ActiveTimely Insight

MeaningActionable

Business Value


AIのなかでも注目を集めるディープラーニング

機械学習マシンラーニング

深層学習ディープラーニング

特徴点抽出

学習

学習

学習済モデル

学習済モデル

識別/認知

人が特徴点を抽出（精度を高めるのは職人技）

機械が特徴点を抽出（大量の学習用画像が認識精度を上げる）

特徴抽出



IoT/ビッグデータ/AI相互の連携は必然の流れ

IoT

ビッグデータ

AI

IoTは現実社会をビッグデータに

ビッグデータをAIが分類整理しスマートデータに

AIの精度を高めるためにはビッグデータが必要

ビッグデータを収集するためにはIoTが必要






•スマートビルボード

•交通量調査

•モバイルIPバスカメラ


スマートビルボード構成








•交通量調査



スマートビルボードでは、２つのモデルを利用

物体検出

画像認識

• 振動・揺れ除去• 動体検知• 重なり処理

• メーカー認識• 車種認識• 年式認識

• 映像処理• FR調整

ディープラーニング処理（エッジサーバー）

約500msec • 車両の追跡

• 広告選択• 切換信号

小型コンピュータ


物体検出モデルを交通量調査に活用

ビデオカメラ映像から測定した交通量4:0

0

5:0

0

6:0

0

7:0

0

8:0

0

9:0

0

10:0

0

11:0

0

12:0

0

13:0

0

14:0

0

15:0

0

16:0

0

17:0

0

18:0

0

19:0

0

20:0

0

21:0

0

22:0

0

23:0

0

A地点 B地点 C地点 D地点 E地点 F地点

23 © 2017 CLOUDIAN KK

• 交通量調査コストを大幅に削減

• 事前手配不要で調査開始

• 24時間365日調査可能








•交通量調査


カリフォルニア州モンテベロ市


モンテベロ市営バスに5台のIPカメラ


モバイル経由で大量映像データを送信、保存


モンテベロ市営バスにおけるモバイルIPカメラの用途

• 「パニックボタン」：- 車内映像のリアルタイム送信

• 乗降者数の把握

• 停留所毎の乗降者数の把握

• 市補助金の算出根拠

• 訴訟対策

• 犯罪防止

• 最適走行ルート分析







•ハイブリッドクラウド- IoT/ビッグデータに対応

• API操作-ビッグデータ/AIに対応

•豊富なアプリケーション- 既存IT環境との連携


0% 10% 20% 30% 40%

増加率が予測できないデータ

高いデータ保護が必要なデータ

低コスト／長期保存データ

高セキュリティ対応データ

ITを活用した新規ビジネスデータ

自社の競争力に関わるデータ

コンプライアンス対応データ

パブリッククラウドオンプレミス

オンプレミスかパブリッククラウドか？

データの選択基準：オンプレミスとパブリッククラウドサービスの比較

『2017年国内ストレージ需要動向調査：DXが与える影響（IDC JPJ41774117、2017年2月発行）』を基に作成対象は、オンプレミスとパブリッククラウドサービスの両方について利用中、もしくは利用を計画/検討中の回答者(n=373)オンプレミスとパブリッククラウドサービスのそれぞれについて上位項目を抜粋


31

自社データセンターで運用管理するクラウド

CLOUDIAN HyperStoreパブリッククラウド

ペタバイト超級まで柔軟に拡張

いつでも使える

堅牢なデータ保護

万全なセキュリティ対応

どこからでもアクセス可能

規模に応じた投資

自社データセンターで運用管理


ハイブリッドに使い分ける

AWSの使用料との統合請求サービスも欧米市場向けにあり

アプリケーション

自社データセンター

期間等のポリシーによりデータを自動転送

アプリケーション


AIはビッグデータを使い試行錯誤し精度を高める

大量画像の収集• 車種識別用• 交通量用• ナンバープレート用

（例：1車種数万枚）

画像整形およびバリエーション画像の作成

ラベリングしてライブラリー化/DB化トレーニング画像の選択

現場映像との整合性などトレーニング画像の調整

ネットワークの選択コンフィグの設定

DL トレーニング

モデルの生成

サンプル画像の整備

テスト画像/映像の準備

実行環境システムの構築

DLによるテストの実行

トレーニングフェーズ評価フェーズ

テスト結果の評価

実環境へ

OKNG

この

プロ

セス

を何

回も

回す

34 © 2017 CLOUDIAN KK

API でストレージを操作

APIで行えるストレージの操作

• データの読み書き• アクセス管理• データ管理• レポート・通知• 高度な操作

- マルチパートアップロード- バージョニング- 階層化- 暗号化- 課金- 監視- 複製- 期限管理- ・・・

標準的なストレージプロトコル


APIによる操作が、開発準備工程を大幅に短縮

API

物理サーバー

物理サーバー/ディスク


仮想化

仮想ストレージ


API

API

APIでストレージを操作し、リソース調達、設定、管理

伝統的なTインフラ CLOUDIAN HYPERSTORE



物理ストレージ

物理ネットワーク

開発者© 2017 CLOUDIAN KK36

既存IT環境との連携S3 APIに対応するアプリケーションは数百種類、企業で使われる多くのアプリケーションがS3 APIに対応

Amazon S3/Glacier、Google Cloud Storage他のHyperStoreシステム


クラウドサービス

クラウド基盤製品

バックアップ・アーカイブ製品

クラウドゲートウェイ製品

NAS製品

フラッシュアレイ製品

ビッグデータ製品

ファイル管理製品、クライアント等


CLOUDIAN HyperStore接続検証済アプリケーション例

ファイル仮想化により、

PCにデータを残さずセキュリティ確保

利用頻度の少ないファイルを、

自動的に階層化

ファイルをオブジェクトに変換、キャッシュ、圧縮

CLOUDIAN HyperStore

特に引き合いの多い企業IT向けアプリ

ビッグデータ分析用大量データを保管


まとめ• IoTは現実社会をビッグデータ化し始めています

本日のご紹介例では：従来はデータ化されていなかった車種数、交通量、乗降者数

• 大量で複雑なビッグデータの活用にはAIとの連携が必然になります

本日のご紹介例では：大量の映像情報をAIが分類整理

• IoT/ビッグデータ/AI連携を支える次世代インフラにおいては、少なくとも次のデータ管理が求められます

• IoT：インターネット経由で安全にアクセスできる

• ビッグデータ：大量で複雑なデータを活用できる（メタデータ）

• AI：ビッグデータを柔軟に操作できる（API）

• その一方で、特殊なソリューションではなく、企業ITに馴染みの深いワークロードに使え、さらにオンプレミスとパブリックをハイブリッドに活用できることが求められます


ご清聴ありがとうございました

ホームページ：http://cloudian.jp/

Facebook：https://www.facebook.com/cloudian.cloudstorage.S3

Twitter：https://twitter.com/Cloudian_KK

ブログ：http://www.cloudian-blog.com/

Slideshare: http://www.slideshare.net/geminimobile/presentations


http://cloudian.jp/

https://www.facebook.com/cloudian.cloudstorage.S3

https://twitter.com/Cloudian_KK

http://www.cloudian-blog.com/

http://www.slideshare.net/geminimobile/presentations

IoT/ビッグデータ/AI連携時代のデータ管理とは？ · CLOUDIAN HyperStoreの特長...

Documents

Transcript of IoT/ビッグデータ/AI連携時代のデータ管理とは？ · CLOUDIAN HyperStoreの特長...