【Google Sheet】IMPORTHTML, IMPORTXMLで、気象庁のデータをダウンロードする【スクレイピング】

スポンサーリンク
広告

とあるところから過去の高層データをちゃんと見ろと

みましたよ~ って言うのもしゃくなので。。 エビデンスを付けてあげようかと。。データをダウンロードしようとしたんですが。。日本の気象データは、いちいち指定してダウンロードしなくちゃ、いけない。。 オープンデータとしては使いにくいです(笑)

気象庁のデータ検索

気象庁の過去データは、ここから取得できます。

気象庁|過去の気象データ検索
過去の気象データ検索

これ、いちいち選択して取得しないといけないんですよねぇ~~ めんどくさい。

一応、こちらからもダウンロードできるサイトもあるんですが。。ダウンロードの容量があったり、データがどこにあるのかわかってないとなかなかダウンロードが難しい。

気象庁|過去の気象データ・ダウンロード
気象庁が提供するページです

気象庁のデータをスクレイピング

得意のPython スクレイピングでもしようかな?とふと思ってググったら

GoogleColaboratoryで気象庁の過去気象データをスクレイピングしてみた。 - Qiita
【2020/12/7 追記】初版から約2年経った今でも見られてるらしいので文章を整理したりしました。 1.はじめに 1.1 前置き 学校のとある調査で気象庁のデータが大量に必要になりました。気象庁ではここでscvファイルでダ...

このあたりが参考になりそう。。

で。。EXCEL VBAでもやってる人がいて。。

【Excel VBA】気象庁のデータをスクレイピング - Qiita
1.気象データのスクレイピング 自然科学や土木工学,農業農村工学などを勉強している人の中には気象庁の気象データを利用したことがある人も少なくないと思います. でも,たくさんの気象データをダウンロードするときにこう思ったことはな...

そっか。。Google Sheetでもできるか? そんなに多くもないし。。

ってことで(笑)さくっと作成。。過去5年分、平均最大。。そして、ある気圧面までの平均とか最大を計算できました。

IMPORTHTML

tableやListが、読み込めます。インポートしたいURLを調査して、Tableだったら、何個目かを調査。。 これはトライアンドエラーしかないのかな?F12を押してもでてこない(笑)

=importhtml(“http://www.data.jma.go.jp/obd/stats/etrn/upper/view/monthly.php?year=2020&month=07&day=1&hour=9&point=47418&atm=&view=”,“table”,4)

URLの中に、いつのどこのデータが欲しいか?を指定できますね。

  • year=2020
  • month=07
  • day=1
  • hour=9
  • point=47418

高層データの場合、9時21時3時15時しかないですし。。ポイントも少ないですので自由に入れられるわけではありませんし、表示したデータによって、Tableが何個目かも違うので、いちいち確認はいりますが。。Pythonで組むよりは簡単(笑)

変数にしておいて、どんどん自動でとるのもできます。が。。あんまり多いとGoogle君は賢くてゆっくりとってきてくれます(笑)

IMPORTXML

いろいろなデータが読めますが。。XPathで指定したところが読めます。

=importxml(“http://www.data.jma.go.jp/obd/stats/etrn/upper/view/monthly.php?year=2020&month=07&day=1&hour=9&point=47418&atm=&view=”,“/html/body/div[2]/div/div[2]/h3[1]”)

URLは同じですが、XPathの指定が違いますね。

Chromeで開いておいて、みたいURLを開いておいて、F12を押してデベロッパーツールを起動して、①を押しておくと、右と左の画面が連動するので、どこに何のデータが視覚的にわかります。

あとは②、③の手順で、Xpathを取得して、IMPORTXMLにペーストします。

XpathはFull XPathの方で今回は読み込めました。

気象庁ありがとう!

古い形式で取れるので、Pythonでも取得できると、こんな簡単にデータ取得できるので。。気象庁様ありがとうございます。

だれか。。全データスクレイピングして、Githubにでも上げてくれないかな?>おぃ!

そう考えると。。NASAは偉いなぁ。。

files | ESPO Data Archive

コメントを残していただけるとありがたいです

Loading Facebook Comments ...
%d人のブロガーが「いいね」をつけました。