📘

Node-AIに適した時系列データを用意するヒント

Node-AIに適した時系列データを用意するヒント

Node-AI が期待するのは多くの条件をクリアした「きれいな」時系列データです。
 
しかし、業務等で利用されているデータは必ずしも最初からそのように整理されているわけではありません。
そこで、一般的にデータ分析の前に行われるデータ整形(データクレンジングとも言う)の例について紹介します。 ただし、ここでは SQL や Python などのプログラミング言語によるデータクレンジングの方法は記載しません。
また一部のクレンジングについては Node-AI の前処理機能で解決可能な場合があります。
 

1. 手作業

  • 表計算ソフトには「CSV形式で保存する」機能が搭載されていることがあります。表計算ソフトのマニュアル等を確認してください。
  • 表計算ソフトのデータは「シート」という概念で複数の表形式のデータに分離されていることがあります。1つのシートとなるようにデータをコピー&ペーストするか、不要なシートを削除をしてください。
 

2. 表計算ソフトの機能を使う

  • 「レコード間の値が一貫した関係性を持つ」ようにするには 「ピボットテーブル」 などの表計算ソフトの機能が適切である場合があります。
  • 時刻カラムを昇順にソートするには表計算ソフトのソート機能が有効です。
 

3. ETLツールを使う

  • ETL ツール とは、様々なデータソース(データベースなど)からデータを読み出し(Extract)、データに何らかの加工(Transform)を施し、別の場所に保存(Load)することができるソフトウェアのことを指します。
  • ETLツールではプログラミング言語を使わず、 GUI で直感的にデータクレンジングの設定を行うことができるようになっています。
  • 大規模なデータを扱う場合や、定期的に処理を行う必要がある場合は ETLツールの導入を検討してみてください。