Dr.SumでDXを実現！分散したデータの統合

Dr.Sumは様々なデータを取り込み統合管理するために機能があります。各それぞれのシステムで蓄積されたデータだけではなく、ExcelやIoTデータ(リアルタイムデータ)の取込みをして、ユーザーが使いやすい形に加工し、データ統合をすることが可能です。各それぞれの機能をご紹介いたします。

Dr.Sumによるデータ統合

Excel Extractor

Excel Extractorは、ExcelファイルをDr.Sumで読み込むための設定を行うツールです。Excel Extractorには、読み込み方法を定義するためのさまざまな設定が用意されています。1行目だけがヘッダーとなっているシンプルな表や、行と列にヘッダーが設定された複雑な表（クロス表）、フォーム形式の表にも対応できます。これによりExcel業務を変更することなく、データを取り込むことが可能です。

次の図は、基のExcelファイルのデータと、インポート後のテーブルに含まれるデータの比較です。Excelファイル内の表が、最終的にどのような形でインポートされるのかを確認できます。

↓Excel Extractorの設定画面

Dr.Sum Data Funnel

Dr.Sum Data Funnelは、継続的に発生する時系列データをリアルタイムに加工するためのツールです。収集した時系列データを、Dr.Sum DatalizerまたはMotionBoardなどのBIツールで集計および分析するために適したフォーマットに加工できます。収集、加工したデータは、標準の出力先としてDr.Sum Serverに蓄積できます。なお、時系列データは継続的に発生するため、時間の経過と共にデータ量が増加します。このため、Dr.Sumを利用することにより、大容量データの蓄積と高速な集計処理を実現できます。

Dr.Sum Data Funnelは次のような業務に適用できます。
     - POSデータやセンサーから取得した在庫データをリアルタイムに集計および分析し、仕入れの計画や売れ筋の販売分析などを行う業務
    - 機械加工製品の不良品のデータを集計および分析し、品質を管理するための業務
 
「データ加工および蓄積」で実施できる、代表的な処理は次のとおりです
   - データの発生頻度が多いマイクロ秒単位のデータを任意の単位でまとめて以降の処理に送る
   - 他の値から大きく外れた値を取り除いたり、異常を示すフラグ値を付与したりする。
   - 前回値と比較してデータを加工する。
   - あらかじめ製品に組み込まれている処理だけでなく、ユーザーが独自に作成した処理を実行する

Dr.Sum Data Funnelの流れ

Dr.Sum Data Funnelの設定画面

(A) Pipeline definition　(B) Built-in action　(C) Custom action

DS Script

データ準備作業で実施するバッチ処理やデータ加工処理を支援するためのプログラムとなります。Dr.Sumのデータベースにデータをインポートする前に実施する、データの準備作業全般の作業の効率化が図れます。たとえば、次のようなデータ準備作業でDS Scriptを利用できます。

   - 複数の基幹データベースから集計用のデータベースへデータを取り込む場合、SQL文で加工し、データの構造を持ち替えながらインポートしている。
   - 作業用の中間テーブルを経由しながらデータをインポートし、作業後は中間テーブルを削除している。
1つ目で例示したデータ準備作業では、基幹データベースのデータ構造から集計用のデータ構造に変更する必要があります。たとえば、集計には不要な項目を削除したり、集計に必要な項目であっても名称を分析用に変更したり、抽出した項目同士を結合したりして、集計用のデータベースに取り込みます。つまり、データ分析の前には、運用や目的に応じたさまざまな前処理が必要になり、DS Scriptを利用することにより作業の効率化が可能です。

DS Scriptの設定画面

Python連携機能

Dr.Sumは、Pythonのプログラムと連携する機能を提供しています。SQL文からPythonのプログラムを実行し、実行結果を表データとして受け取ることができます。Pythonがサポートするさまざまなライブラリを組み込むことで、クロス集計以外の方法による分析が可能になります。たとえば、機械学習用のライブラリを利用すると、機械学習モデルが返す推論のデータを分析できます。

まとめ

Dr.Sumはデータの実用性と価値を高めるために、様々なデータ統合機能がついています。組織内のデータが集約出来れば、現場ユーザーが利用しやすくなり、分析の民主化が進み、よりビジネスに役立つさまざまな結果を得られます。またデータを統合して管理する場合、システムの自動化も可能です。Dr.Sumで誰でも簡単にデータを扱える環境を整え、データとつながる組織を作り、DXを実現しましょう！