FMEリファレンスの拡充

2015-08-31発信

当社ウェブサイトにて今月上旬より公開を始めた「FMEリファレンス」（日本語版ドキュメント）について、FME Workbench によるワークスペース作成の基本的な事項について掲載できましたのでお知らせします。
FMEリファレンス
http://www.pragmatica.jp/fme/references/

このうち「ワークスペースの作成と実行」は、一般的なワークスペースの作成から実行までに必要な事項がひととおり概観できるように、それらの要点をまとめたものです。
http://www.pragmatica.jp/fme/references/BasicWorkspaceBasics.html

ワークスペース作成の参考として利用していただければ幸いです。

「FMEリファレンス」の掲載内容は Safe Software 社の公式ドキュメント "FME Workbench" (英語版) をベースにしていますが、直訳ではなく、分かり易くする観点から修正、補足を加えるとともに構成も一部変更しています。
基本的な事項はほぼカバーしましたが、まだワークスペース作成に関わる全ての事項を網羅しておらず、今後も内容を追加、更新していく予定です。
不備な点や分かりにくい点がありましたら、ご指摘くださるようお願いします。

ウェブ上で公開されているデータの取得

2015-08-23発信

FMEはインターネットとの接続を標準でサポートしており、ウェブサーバーに保存されているファイルは、リーダーなどのソースデータセットとしてそのURLを指定するだけで読み込むことができます。
内部的にはファイルを一時フォルダにダウンロードして（zipならばそれを解凍してから）読み込み、変換が終了したらダウンロードしたファイルを削除するということを行います。
手動でダウンロード、解凍するのと手順は同じですが、多数のファイルがある場合などには便利な機能です。

ウェブ上で公開されているデータはファイルダウンロードの形態によるものばかりではなく、ウェブページ（HTML文書）に埋め込んだテキストとして提供されているものもあります。
その場合には、HTML文書の取得、データ部分の抽出、テーブル形式への変換といった一連の処理を自動化するためのデータフローを定義する必要があります。
HTTPCallerというトランスフォーマーを使うとウェブサーバーに対するGET, POST等のリクエストの発行とレスポンスの取得ができるので、これによってHTML文書を取得することができます。

試験的に防災科学技術研究所が公開している「Hi-net自動処理震源リスト」（HTMLに記述された固定長フォーマットのテーブル）を取得し、任意のフォーマットでの出力が可能なテーブルに変換するまでのワークスペースを作成したところ、良好な結果が得られたので紹介いたします。

FMEケーススタディ > HTML文書の取得と変換
http://fme-casestudy.blogspot.com/2015/08/html.html

Hi-net自動処理震源リストは逐次更新されているので、継続的にデータを取得する必要があるならば、Windows タスクスケジューラによって毎日ワークスペースを実行してデータベースにデータを蓄積していくという仕組みも考えられます。
ソースデータがどこにどんな形態で存在していてもアクセス権限さえあれば取得・変換できることを示した例であり、これもFMEの特長のひとつであると言えます。

ユーザーサポートサイトの拡充

2015-08-09発信

1. FMEリファレンス (当社サイト)

多くのトランスフォーマーのパラメーター設定において使われる演算子や関数の説明など、ワークスペースを作成する際に比較的頻繁に参照されるドキュメントを抜粋して日本語化を進めており、当社ウェブサイトでの公開を始めました。
現時点では次の事項について掲載しています。
・条件判定用の比較演算子
・数学演算子・数学関数
・ジオメトリ間の空間的関係
・パスフィルター用の特殊文字

URLは次のとおりです。ワークスペース作成の参考としてご利用ください。
http://www.pragmatica.jp/fme/references/

-----
2. FME Transformer Gallery (Safe Software社サイト)

Safe Software社ウェブサイトでは、キーワードによるトランスフォーマー検索サイトが新設されました。
検索結果としてトランスフォーマー名だけでなくそれらの概要も一覧表示されるとともに、使用頻度順 (Most Used) でのソートもできるので、より素早く目的とするトランスフォーマーが見つけられると思います。

URLは次のとおりです。
http://www.safe.com/transformers/#/

-----
「FMEケーススタディ」の公開を始めてから1ヶ月が経過しました。この間、閲覧数 (ページビュー) は着実に伸びております。
FMEに関心をお持ちいただいていることに感謝申し上げます。

FMEケーススタディ
http://fme-casestudy.blogspot.com/

今後もFMEサポートサイト、FMEケーススタディの充実に努めていきたいと思います。
ご意見、ご要望などがありましたら、随時お知らせください。

国内データ変換カスタムトランスフォーマーの使用例

2015-08-02発信

当社では、FMEの国内データ変換サポートを充実させるために、カスタムフォーマット、カスタムトランスフォーマー等を作成、公開しているところですが、いくつかのカスタムトランスフォーマーについて使用例 (テンプレート) を公開しましたのでご案内します。

(1) JpMeshCodeReplacer使用例: CreateMeshDemo_Census2010MeshStatistics.fmwt
平成22年国勢調査メッシュ統計(1km, 500m, 250m メッシュ)「男女別人口総数及び世帯総数」(CSV形式テキスト)をShape形式に変換します。

(2) JpKsjPointExtractor使用例: CreateKSJDatasetDemo_KsjKanchoGenkai.fmwt
国土数値情報旧フォーマットC36-60P「感潮限界」(テキスト)を読み込み、国土数値情報GML形式及びShape形式でファイル(全国1ファイル)に出力します。

(3) JpKsjSurfaceExtractor使用例: CreateKSJDatasetDemo_2010CensusAdmin.fmwt
平成22年国勢調査市区町村別人口・世帯数を市区町村ポリゴンに結合し、国土数値情報GML形式及びShape形式で都道府県別のファイルに出力します。

テンプレート(*.fmwt)はワークスペース配布用に圧縮した形式のファイルです。
ワークベンチメニュー: File > Open で開くとワークスペースに展開され、ワークスペースファイル(*.fmw)として保存、カスタマイズ、実行ができます。
テンプレート自体は読み取り専用で、何度でも繰り返し同じワークスペースを作成することができます。

上記各テンプレートは、当社ウェブサイト「FMEサポート|国内データ変換のサポート」ページの「カスタムトランスフォーマー」セクションからダウンロードできます。
http://www.pragmatica.jp/fme/jpformats.html
※ダウンロードするには、このメール本文の後に記載しているサポートリソースアクセス用のユーザー名、パスワードによる認証が必要です。

使用方法等については、ワークベンチでテンプレートを開いた後、Navigator ウィンドウ Workspace Properties セクションの Description, Usage を参照してください。

FME評価版(30日間無償)でも利用可能です。評価版は次のページから入手できますので、是非、お試しください。
Try FME Desktop
http://www.safe.com/fme/fme-desktop/trial-download/

[参考] FME Desktop のライセンシング
http://www.pragmatica.jp/fme/desktop_licensing.html

複数のデータファイルを一括して読み込む方法

2015-07-26発信

変換の対象とするデータは常にひとつのファイルに格納されているとは限らず、むしろ、複数のファイルの集合で与えられる場合の方が多いと思います。
その場合、ディスク内のフォルダの階層構造はデータを作成したシステムやプロジェクトごとに固有のものであり、一般的なルールはありません。

FMEワークベンチでは、Windows標準のファイル選択画面に加えて、Advanced Browser と呼ばれるファイル選択画面が用意されています。
Advanced Browser では複数のフォルダに分散して格納されているファイルも同時に選択できるので、オリジナルのフォルダ階層構造に手を加えることなく、それらを一括して読み込むための設定が可能になります。

Advanced Browser はFMEワークベンチ独自のものなので、これを活用していただくための参考として、基本的な使い方に関する記事を「FMEケーススタディ」に掲載しました。
複数のデータファイルの一括読込
http://fme-casestudy.blogspot.com/2015/07/blog-post_23.html

この記事では、国土数値情報「行政区域」データ（都道府県別Shapeファイル）を例として、次の4ケースについて全国のデータをひとつのソースデータセットとして読み込む方法を説明しています。
ケース1: ひとつのフォルダ内に全てのファイルが保存されている（サブフォルダなし）
ケース2: ひとつのフォルダ内の地方別のサブフォルダに分けて保存されている
ケース3: ひとつの zip ファイルに全てのファイルがアーカイブされている
ケース4: ひとつのフォルダ内に解凍前の都道府県別 zip ファイルが保存されている

フォルダの階層構造を変更するのは面倒なだけでなく、ミスも起こり易い作業です。
細かいところですが、これを避けることができるということもFMEの利点のひとつであると思います。
ワークスペース作成の際の参考としていただければ幸いです。

なお、多数のデータファイルについて、内容は変更せずに、それらが格納されているフォルダの階層構造やファイル名を変更することだけが求められる場合もあります。
広い意味でのデータ変換であると思いますが、ほとんどの場合、これは[PATH]リーダー、[FILECOPY]ライター、及びいくつかのトランスフォーマーを使って解決できます。
[PATH]リーダー、[FILECOPY]ライターについては、別の機会に改めて取り上げたいと思います。

データベースの利用について

2015-07-21発信

データセットの規模が大きい場合や部分的な更新が頻繁に必要な場合など、データベースによってデータを管理することが効果的なことがあります。
FMEではファイルベースのデータセットと同じ感覚でデータベースを取り扱うことができますが、FMEの使用方法とは別に、DBMS(データベース管理システム)によって少しずつ異なるところがあるデータベースの利用方法に関する基礎的な知識は必要になります。
初めてデータベースを扱おうとする場合には、その点で少し難しさを感じるかも知れません。

FMEがサポートするDBMSのうちPostgreSQL/PostGISは、誰でも無償で利用できるとともに、非空間データベース、空間データベースのどちらにも対応しているので、FMEによるデータベースの利用方法を学ぶうえで最適であると思います。
これからPostgreSQL/PostGISを利用しようとする方の導入時の参考としていただけるよう、次の文書を作成・公開しましたので、ご案内します。
・PostgreSQL/PostGIS のインストールとデータベースの作成
http://www.pragmatica.jp/fme/support/documentation/common/postgresinstallation.pdf
※この文書にアクセスするには、このメール本文の後に記載しているユーザー名、パスワードによる認証が必要です。

また、「FMEケーススタディ」にはPostGISデータベースを利用するFMEワークスペースの例も掲載しましたので、あわせて参考にしていただければ幸いです。
・データベースとの連携 - データベースへのデータ移行
http://fme-casestudy.blogspot.com/2015/07/blog-post_19.html
・データベースとの連携 - データベースからのデータ抽出
http://fme-casestudy.blogspot.com/2015/07/blog-post_20.html

FMEとデータベースを連携して利用できるようになると、FME、データベース双方の活用の幅が格段に広がります。
まだデータベースユーザーでない方は、チャレンジなさることをお勧めいたします。

新企画「FMEケーススタディ」サイト開設

2015-07-12発信

1.「FMEケーススタディ」サイトの開設について

前々回、前回と2回続けて具体的なワークスペース例をご紹介しましたが、それらも含めて、さまざまなワークスペース例をご紹介するための専用サイト「FMEケーススタディ」を設けましたのでご案内します。
FMEケーススタディURL:
http://fme-casestudy.blogspot.com/

このサイトでは、原則としてウェブ上で公開されているデータを素材として具体的なデータ変換・統合のシナリオを想定し、それを実現するためのワークスペース例を掲載していくこととします。
良く使われるトランスフォーマーやそれらの組み合わせの基本的なパターンを取り上げることにより、現実の課題を解決するためのワークスペース作成の参考例になるようにしたいと考えています。

各記事で取り上げるシナリオ・ワークスペース例は、データフロー全体が一目で見渡せるようにはできるだけ簡潔なものとするとともに、短時間で読み切れるように説明は要点のみにしています。
詳細についてご不明な点がありましたらお問い合わせいただくか、「FMEユーザーフォーラム」でご質問ください。
FMEユーザーフォーラムURL:
https://groups.google.com/forum/?hl=ja#!forum/fmers

また、ケーススタディのテーマについてのご要望がありましたらお知らせください。
ご要望に沿った記事も追加していきたいと思います。

-----
2. FMEのバージョン表記方法について

FMEは年1回（通常は1月中旬）メジャーバージョンアップが行われるとともに、年4～5回、小規模な改良や累積的なバグ修正を行ったアップグレードバージョンがリリースされます。
FME 2014までは、年内のアップグレードバージョンはSP（サービスパック）番号で表されていましたが（例: FME 2014 SP5）、FME 2015からは、ドットで区切った番号で表されるようになりました（例: FME 2015.1.0.3）。
この"YYYY.A.B.C"形式での表記のうち、"A"は従来のSP番号に相当し、年4回程度更新されます。
"B"は"A"の更新サイクル以外の時期にアップグレード版をリリースしたとき、"C"は主にホットフィクス（迅速なバグ修正）をリリースしたときに更新されます。

インターネットに接続している状態で FME Workbench を開き、メニュー: Help > Check for Updates を選択すると、使用中のFMEがその年の最新版であるかどうかが確認できます。
最新版は次のページからダウンロードでき、FME年間保守（または評価版ライセンス）の有効期間内であればいつでもアップグレードできます。
FMEダウンロードページURL:
http://www.safe.com/support/support-resources/fme-downloads/

"B"と"C"の更新は不定期なので時々チェックし、できるだけ最新版をご利用になることをお勧めします。