2018-04-01

WIS Portalからのデータ取得再建、Atomフィードの代わりにURLリストで更新通知をする方式の試みについて

いろいろ完璧ではないのですが、書けるときにメモしておこうということで:

個人サイト toyoda-eizi.net ではいろんなところからリアルタイム情報を収集してちょろっと処理する練習をしています。実際にやってみないとわからないことが、たくさんありますからね。
そのひとつ、GISC Tokyo WIS Portal サイトから地上・高層観測報や低解像度GRIBをAtom Feedと似ているけど違う仕組み(後述)でダウンロードしているところ、3月1日のサイト更新から動かなくなっていたのをようやくなんとか復旧しました。
何があったかというと、サイト更新では常時TLS化などユーザインパクトのある変更がありました(告知: https://www.wis-jma.go.jp/cms/blog/2018/02/19/notification-for-gisc-tokyo-downloading-script-user/ )。欠けている期間のデータを補うことはしません。
さて、そのユニークなデータ提供の仕組みについて。
普通、ウェブに提供される随時情報が随時に現れるとき、Atom Feedなんかで更新を通知することにしますが、ここではリストがプレーンテキストで提供されるのです。なぜそうしたかというと、利用者側でシェルスクリプトか何かでデータをダウンロードすることを想定しているわけですが、wgetなんかだとプレーンテキストにURLリストを与えると一括ダウンロードができる、というようなことを利用しようとしたものです。
ツールも作りました。
https://gist.github.com/etoyoda/f5d52752bc8fb3ed79162377c73beb10

0 件のコメント:

コメントを投稿