FMEは空間データ処理だけでなく豊富な文字列処理機能も持っており、データベースの構築や移行などの際の文字列データの検証や修正にも活用することができます。 文字列処理を行うためのトランスフォーマーは日本語文字にも対応しており、特に問題なく使用することができます。 しかし、日本語の文字列に固有の処理（典型的には全角文字と半角文字の間の変換など）がデフォルトの設定で簡単に行えるようなトランスフォーマーはありません。 思うような処理をするには、ユーザーがトランスフォーマーのパラメーターに面倒な入力をしたり、データフローの中にスクリプトを組み込んだりしなければならないこともあり、これには結構手間がかかります。 そこで、これまでに当社が日本語文字列処理を伴うデータ変換用に作成したワークスペースの中から日本語文字列に固有の処理で、かつ、汎用的に使えそうな部分を抽出・再構成してカスタムトランスフォーマーを作成し、公開することにしました。 現在公開中の主なものを掲げます。 JpCaharacterWidthChanger 属性文字列内のひらがな/全角カタカナ/半角カタカナの変換、英数字や記号の全角/半角の変換を行います。 JpWarekiConvertor 日付文字列に含まれる年について和暦と西暦（グレゴリオ暦）の間の変換を行い、変換後の日付文字列を新しい属性に格納します。 JpAddressPartExtractor 都道府県名から始まる住所文字列を、都道府県名、振興局等名、政令市・郡名、市区町村名、その他に分割するとともに、都道府県コードを抽出します。 これらのカスタムトランスフォーマーは次のウェブページからダウンロードできます（ダウンロードするにはメール本文の後に記載しているサポートリソースアクセス用のユーザー名とパスワードによる認証が必要です）。 http://www.pragmatica.jp/fme/jpformats.html ダウンロードしたファイル（zip圧縮）を解凍して展開される"*.fmx"ファイルを"マイ ドキュメント/FME/Transformers"フォルダに保存してください。 その後FMEワークベンチを起動すると、Transformer Gallery の Categorized/Pragmatica フォルダ内にそのトランスフォーマーが現れ、標準のトランスフォーマーと全く同じ方法でワークスペースに追加して利用できるようになります。 各トランスフォーマーの使用方法についてはそれぞれのヘルプを参照してください。 日本語文字列処理に関してご意見やご要望がありましたら、随時お知らせください。
2015年6月7日日曜日
日本語文字列に固有の処理について
2015-06-07発信
2015年6月1日月曜日
XMLデータ処理事例 - 国土数値情報
2015-05-30発信
XMLはプラットフォームに依存しないデータ交換用のフォーマットとして広く利用されています。
FMEはXMLおよびGMLなどのXMLベースの標準的なフォーマットをサポートしていますが、あらゆる応用スキーマや仕様をカバーしているわけではありません。
XML文書から読み込んだデータをシステムで利用可能な形態にする、あるいは、他のフォーマットのデータをXML形式に変換するには、応用スキーマ等に従って必要な変換を行うためのデータフローを組み立てる必要があります。
それを行うために多くのトランスフォーマーが用意されていますが、個々の応用スキーマごとにゼロからワークスペースを作成するのは効率的ではありません。
しかし、FMEには、複数のワークスペースで共通するデータフローを部品化する仕組み（カスタムフォーマット、カスタムトランスフォーマー）があります。
その仕組みを利用して、ある分野、用途でのXMLデータ処理における共通のデータフローをあらかじめ部品として用意しておけば、個々の応用スキーマに対応するワークスペースの作成は容易になると考えられます。
その事例として、国土数値情報（JPGIS2.1/GML3.2）に対応する次のような「部品」を作成し、FME Storeで公開しました。
1. カスタムフォーマット
カスタムフォーマットとは、リーダーとして使用できる部品です。
FME Storeで公開されているカスタムフォーマットは、リーダーと全く同じ方法でワークスペースに追加できます（初回の追加時はインターネットに接続している必要があります）。
(1) JPS2_KSJ_VECTOR: Japanese National Land Numerical Information (JPGIS2.1/GML3.2) Vector
国土数値情報ベクターデータ（点、線、面）を読み込み、ジオメトリを作成します。
データの種類ごとに異なる主題属性は標準のXMLリーダーで読み込み、このカスタムフォーマットで読み込んだジオメトリをFeatureMergerなどで結合することにより、ジオメトリと属性を備えた完全なフィーチャーが作成できます。
(2) JPS2_KSJ_MESH: Japanese National Land Numerical Information (JPGIS2.1/GML3.2) Mesh
国土数値情報メッシュデータを読み込み、各メッシュ領域を表す矩形ポリゴン（またはメッシュ中心のポイント）を作成するとともに、メッシュの属性もあわせて抽出します。
属性の数や内容はデータの種類や作成年によって異なりますが、このカスタムフォーマットは、データに記述されている全ての属性を"_data{}"という名前のリスト属性に格納します。
必要に応じて、AttributeRenamerなどでリストの各要素を適切な属性名に変更することができます。
これらのカスタムフォーマットを使用して国土数値情報データを変換するためのワークスペース例（テンプレート）も FME Store で公開しました。
ワークベンチメニュー: File > New で"Create Workspace"画面を開き、左側のペインで FME Store > Pragmatica を選択してください。
画面右上にテンプレートのリスト、右下にリスト内で選択されているテンプレートの説明（英文・和文）が表示されます。
[Choose]ボタンをクリックすると、リスト内で選択されているテンプレートに基づくワークスペースが自動的に作成されます。
2. カスタムトランスフォーマー
カスタムトランスフォーマーとは、標準のトランスフォーマーと同じ方法で使用できる部品です。
FME Storeで公開されているカスタムトランスフォーマーは、標準のトランスフォーマーと全く同じ方法でワークスペースに追加できます（初回の追加時はインターネットに接続している必要があります）。
以下のトランスフォーマーは、Transformer Gallery 内の FME Store / Pragmatica カテゴリに格納されています。
(1) JpKsjPointExtractor
ポイントジオメトリに基づいて、国土数値情報の仕様に準じたXML要素 <gml:Point> を作成します。
(2) JpKsjCurveExtractor
ラインジオメトリに基づいて、国土数値情報の仕様に準じたXML要素 <gml:Curve> を作成します。
(3) JpKsjSurfaceExtractor
ポリゴンジオメトリに基づいて、国土数値情報の仕様に準じたXML要素 <gml:Curve>, <gml:OrientableCurve>, <gml:Surface> を作成します。
これらのトランスフォーマーが作成したジオメトリ部分のXML要素と、応用スキーマに基づいて作成した主題属性のXML要素をひとつのXML文書に書き出せば、国土数値情報データファイルができあがります。
主題属性のXML要素を作成するためのデータフローは応用スキーマごとに定義する必要があります。
-----
国土数値情報は一事例に過ぎません。上記のような手法は、どのような分野、用途においても、XMLデータ処理を効率化するために応用できるものであると考えています。
XMLデータ処理が課題になっている場合は、FMEもひとつの選択肢としてご検討ください。
なお、基盤地図情報に関しては、
- 基本項目は標準のGMLリーダーで読み込めます。
- 数値標高モデル（DEM）はカスタムフォーマット"Japanese Fundamental Geospatial Data (FGD) DEM" (JP_FGD_DEM) でラスターとして読み込めます。
XMLはプラットフォームに依存しないデータ交換用のフォーマットとして広く利用されています。
FMEはXMLおよびGMLなどのXMLベースの標準的なフォーマットをサポートしていますが、あらゆる応用スキーマや仕様をカバーしているわけではありません。
XML文書から読み込んだデータをシステムで利用可能な形態にする、あるいは、他のフォーマットのデータをXML形式に変換するには、応用スキーマ等に従って必要な変換を行うためのデータフローを組み立てる必要があります。
それを行うために多くのトランスフォーマーが用意されていますが、個々の応用スキーマごとにゼロからワークスペースを作成するのは効率的ではありません。
しかし、FMEには、複数のワークスペースで共通するデータフローを部品化する仕組み（カスタムフォーマット、カスタムトランスフォーマー）があります。
その仕組みを利用して、ある分野、用途でのXMLデータ処理における共通のデータフローをあらかじめ部品として用意しておけば、個々の応用スキーマに対応するワークスペースの作成は容易になると考えられます。
その事例として、国土数値情報（JPGIS2.1/GML3.2）に対応する次のような「部品」を作成し、FME Storeで公開しました。
1. カスタムフォーマット
カスタムフォーマットとは、リーダーとして使用できる部品です。
FME Storeで公開されているカスタムフォーマットは、リーダーと全く同じ方法でワークスペースに追加できます（初回の追加時はインターネットに接続している必要があります）。
(1) JPS2_KSJ_VECTOR: Japanese National Land Numerical Information (JPGIS2.1/GML3.2) Vector
国土数値情報ベクターデータ（点、線、面）を読み込み、ジオメトリを作成します。
データの種類ごとに異なる主題属性は標準のXMLリーダーで読み込み、このカスタムフォーマットで読み込んだジオメトリをFeatureMergerなどで結合することにより、ジオメトリと属性を備えた完全なフィーチャーが作成できます。
(2) JPS2_KSJ_MESH: Japanese National Land Numerical Information (JPGIS2.1/GML3.2) Mesh
国土数値情報メッシュデータを読み込み、各メッシュ領域を表す矩形ポリゴン（またはメッシュ中心のポイント）を作成するとともに、メッシュの属性もあわせて抽出します。
属性の数や内容はデータの種類や作成年によって異なりますが、このカスタムフォーマットは、データに記述されている全ての属性を"_data{}"という名前のリスト属性に格納します。
必要に応じて、AttributeRenamerなどでリストの各要素を適切な属性名に変更することができます。
これらのカスタムフォーマットを使用して国土数値情報データを変換するためのワークスペース例（テンプレート）も FME Store で公開しました。
ワークベンチメニュー: File > New で"Create Workspace"画面を開き、左側のペインで FME Store > Pragmatica を選択してください。
画面右上にテンプレートのリスト、右下にリスト内で選択されているテンプレートの説明（英文・和文）が表示されます。
[Choose]ボタンをクリックすると、リスト内で選択されているテンプレートに基づくワークスペースが自動的に作成されます。
2. カスタムトランスフォーマー
カスタムトランスフォーマーとは、標準のトランスフォーマーと同じ方法で使用できる部品です。
FME Storeで公開されているカスタムトランスフォーマーは、標準のトランスフォーマーと全く同じ方法でワークスペースに追加できます（初回の追加時はインターネットに接続している必要があります）。
以下のトランスフォーマーは、Transformer Gallery 内の FME Store / Pragmatica カテゴリに格納されています。
(1) JpKsjPointExtractor
ポイントジオメトリに基づいて、国土数値情報の仕様に準じたXML要素 <gml:Point> を作成します。
(2) JpKsjCurveExtractor
ラインジオメトリに基づいて、国土数値情報の仕様に準じたXML要素 <gml:Curve> を作成します。
(3) JpKsjSurfaceExtractor
ポリゴンジオメトリに基づいて、国土数値情報の仕様に準じたXML要素 <gml:Curve>, <gml:OrientableCurve>, <gml:Surface> を作成します。
これらのトランスフォーマーが作成したジオメトリ部分のXML要素と、応用スキーマに基づいて作成した主題属性のXML要素をひとつのXML文書に書き出せば、国土数値情報データファイルができあがります。
主題属性のXML要素を作成するためのデータフローは応用スキーマごとに定義する必要があります。
-----
国土数値情報は一事例に過ぎません。上記のような手法は、どのような分野、用途においても、XMLデータ処理を効率化するために応用できるものであると考えています。
XMLデータ処理が課題になっている場合は、FMEもひとつの選択肢としてご検討ください。
なお、基盤地図情報に関しては、
- 基本項目は標準のGMLリーダーで読み込めます。
- 数値標高モデル（DEM）はカスタムフォーマット"Japanese Fundamental Geospatial Data (FGD) DEM" (JP_FGD_DEM) でラスターとして読み込めます。
2015年4月30日木曜日
【速報】FME 2015.1 リリース
2015-04-30発信
4月29日（日本時間30日）、FME 2015.1がリリースされました。 いくつかの新機能の追加、性能の改善、累積的なバグフィクスなどがなされています。 製品ライセンスをお持ちで年間保守を継続している方、評価版ライセンスの有効期間中の方はアップグレードできます。 パワーアップしたFMEをご活用ください。 FMEインストーラーダウンロード http://www.safe.com/support/support-resources/fme-downloads/ ※インストール先フォルダを別にすれば以前のバージョンのFMEも引き続き利用できます。 FME 2015.1の新機能等の詳細については次のページをご参照ください。 Safe Blog > What's Great in FME 2015.1 http://blog.safe.com/2015/04/whats-great-fme-2015-1/ FME 2015.1 "what's new" list http://downloads.safe.com/fme/2015/whatsnew_2015-1.txt
2015年4月29日水曜日
FMEユーザーフォーラムの開設 他
2015-04-29発信
1. FMEユーザーフォーラムの開設 これまでに多くの方々から、FMEの機能や使い方について気軽に質問できるコミュニティサイトがあると良い、というご意見をいただきました。 Safe Software社は従来より"Community Answers"を運営していますが、ほとんどの投稿は英語であるため、やや敷居が高いのは確かです。 FME Knowledge Center > Community Answers https://knowledge.safe.com/communityanswers?feedtype=RECENT&dc=All&criteria=ALLQUESTIONS そこで、国内のユーザー間でFMEに関する知識や技術を共有する場として、次のフォーラムサイトを設けました。 FMEユーザーフォーラム https://groups.google.com/forum/?hl=ja#!forum/fmers [サンプル]（質問・回答の例）として、FAQ（よくある質問）もいくつか掲載してあります。 どうぞお気軽にご利用ください。 ----- 2. FME World Tour 2015 in Beijing (北京) 毎年4月～6月の間、世界の主要都市でFME World Tour（ユーザーカンファレンス）が行われています。 http://www.safe.com/worldtour/ 今年は日本での開催はありませんが、最も近い中国では3箇所（北京、上海、成都）で開催され、そのうち北京のカンファレンス（4月20日）に参加しました。 会議では、大規模なデータベースシステムの構築・管理、土地の使用権管理、建築物の3Dモデル作成、油田・パイプラインの管理などの多彩な分野におけるFME活用例についてのユーザー発表がありました。 中国では日本よりも早くFMEの普及が始まっており、先進的な事例も数多くあるようです。 今後も世界中のパートナーと交流を深め、より広範なFMEの活用方法を学んでいきたいと考えています。
2015年4月16日木曜日
Safe Software社ユーザーサポートサイトのリニューアル
2015-04-16発信 Safe Software社のユーザーサポートサイト"FME Knowledge Center"（旧"FMEpedia"）がリニューアルされました。 FME Knowledge Center ホームページURL https://knowledge.safe.com/ Articles: FMEの機能や使用方法に関する技術解説記事などの検索、閲覧ができます。 Documentation: FMEに関するSafe Software社の公式ドキュメントが閲覧できます。 Community Answers: FMEユーザー同士で技術や知識の交換・共有ができます。閲覧は自由ですが投稿するには"sign up"（利用者情報の登録）が必要です。 Request Support: Safe Software社によるテクニカルサポートがリクエストできます。 FME Webinar、FME Youtube Channelは次のURLで引き続き閲覧できます。 FME Webinar http://www.safe.com/webinar/ FME YouTube Channel https://www.youtube.com/user/FMEchannel これらのサポートリソースは全て無料で利用できますのでご活用ください。 ----- 当社でもFMEの一般的な使用方法に関してメールを通じてサポートいたします。 どうぞお気軽にお問い合わせください。 http://www.pragmatica.jp/fme/support.html ----- FMEの最新情報やTipsについては次のブログもご参照ください。 Safe Software社の公式ブログ http://blog.safe.com/ FME Memorandum: 飯嶋個人のブログ http://fme-memorandum-takashi.blogspot.jp/
2015年1月16日金曜日
FME 2015.0 リリース
2015-01-16発信
本日未明（日本時間）、FME 2015.0 がリリースされました。 サポートするフォーマット、トランスフォーマーが追加されたほか、FME ワークベンチにもたくさんの改良が施されており、ワークスペースの開発がより一層、効率的にできるようになりました。 また、これまでに当社が調査・指摘してきた日本語文字処理に関する問題点もほぼ全て解消されており、日本語環境においてもより安心・快適に使えます。 ライセンスをお持ちで年間保守を継続されている方、評価版ライセンスで試用されている方はアップグレードすることができます。 パワーアップしたFMEを是非ご活用ください。 FMEインストーラーダウンロードページ http://www.safe.com/support/support-resources/fme-downloads/ ※インストール先フォルダを別にすれば以前のバージョンのFMEも引き続き利用できます。 次のページもご参照ください。 safe.com > What's New in FME? http://www.safe.com/fme/new/?#FME2015 blog.safe > What’s Great in FME Desktop 2015 http://blog.safe.com/2015/01/whats-great-fme-2015/ ===== 昨年までは1月に新バージョンがリリースされた後、定期的なサービスパックリリース（SP1～SP4, 2014のみSP5まで）がありましたが、今年からはFMEのバージョンはドットで区切った番号によって表されます。 関連技術の進歩やユーザー要望に対応して適時にアップグレードされていくことと思います。 このFME情報メールでも随時、最新の情報をお伝えしていきます。 今年もよろしくお願いいたします。
2014年12月14日日曜日
FME 2014 SP5 リリース 及び FME 2015 リリース予定
2014-12-14発信
1. FME 2014 SP5 リリース
FME 2014 SP5 (build 14440)がリリースされました。
FME 2014 の最後のアップグレードであり、Arc GIS 10.3 サポートの追加、Pythonインタープリターのアップグレードなどが行われています。
インストーラーは次のページからダウンロードできます。
http://www.safe.com/support/support-resources/fme-downloads/
関連記事
http://blog.safe.com/2014/12/fme-2014-sp5-service-pack-naming/
http://downloads.safe.com/fme/2014/Whats_New_in_SP5.txt
2010年以来、FMEは年4回のサイクルで修正プログラム（SP1～SP4）がリリースされてきましたが、今回の「SP5」は異例と言えます。
機能の追加・強化に対する要望への対応が、年4回のアップグレードサイクルでは不十分になってきたということかも知れません。
さらに、FME 2015では「SP*」という呼び方が廃止され、ドットで区切った番号によってバージョンが表されるようになる予定です。
例えば、次のようになります。
・FME 2015の最初のリリース: FME 2015.0
・従来のSP1に相当するアップグレード: FME 2015.1
・次のアップグレードまでの間の個別修正: FME 2015.1.0.1
・次のアップグレードまでの間のサービスパック形式修正: FME 2015.1.1
=====
2. FME 2015 リリース予定
FME 2015.0 は2015年1月15日（日本時間16日）にリリースされる予定です。
ベータ版は次のページからダウンロードできます。
http://www.safe.com/support/support-resources/fme-downloads/beta/
リリースと同時にウェビナー（参加無料）が行われます。参加申込は次のページから。
http://webinars.safe.com/fme-2015
1. FME 2014 SP5 リリース
FME 2014 SP5 (build 14440)がリリースされました。
FME 2014 の最後のアップグレードであり、Arc GIS 10.3 サポートの追加、Pythonインタープリターのアップグレードなどが行われています。
インストーラーは次のページからダウンロードできます。
http://www.safe.com/support/support-resources/fme-downloads/
関連記事
http://blog.safe.com/2014/12/fme-2014-sp5-service-pack-naming/
http://downloads.safe.com/fme/2014/Whats_New_in_SP5.txt
2010年以来、FMEは年4回のサイクルで修正プログラム（SP1～SP4）がリリースされてきましたが、今回の「SP5」は異例と言えます。
機能の追加・強化に対する要望への対応が、年4回のアップグレードサイクルでは不十分になってきたということかも知れません。
さらに、FME 2015では「SP*」という呼び方が廃止され、ドットで区切った番号によってバージョンが表されるようになる予定です。
例えば、次のようになります。
・FME 2015の最初のリリース: FME 2015.0
・従来のSP1に相当するアップグレード: FME 2015.1
・次のアップグレードまでの間の個別修正: FME 2015.1.0.1
・次のアップグレードまでの間のサービスパック形式修正: FME 2015.1.1
=====
2. FME 2015 リリース予定
FME 2015.0 は2015年1月15日（日本時間16日）にリリースされる予定です。
ベータ版は次のページからダウンロードできます。
http://www.safe.com/support/support-resources/fme-downloads/beta/
リリースと同時にウェビナー（参加無料）が行われます。参加申込は次のページから。
http://webinars.safe.com/fme-2015
登録:
投稿 (Atom)