東京公共交通オープンデータチャレンジ
ふと、このチャレンジのサイトが目に留まり。。
データセットがAPIで公開されている（登録必要）のを見て
ckan-tokyochallenge.odpt.org
もっと使えるのがないかな？って見てたら沢山でてきたので、ちょっとリンク集のように作っておきます。
まず、このサイトで紹介されていたリンク集
- 内閣官房IT総合戦略本部 : 政府データカタログサイト
トップ | e-Govデータポータルwww.data.go.jp
- 政府統計の総合窓口(e-Stat)
政府統計の総合窓口(e-Stat)−API機能 | 政府統計の総合窓口(e-Stat)−API機能www.e-stat.go.jp - 東京都 : 東京都オープンデータカタログサイト
東京都オープンデータカタログサイトホームページ東京都のオープンデータを検索・ダウンロードできる「カタログ」サービスです。portal.data.metro.tokyo.lg.jp - 国土交通省 : 歩行移動支援サービスに関するデータサイト
歩行者移動支援サービスに関するデータサイト｜トップページ歩行者移動支援サービスは、様々な場面における利用者の情報ニーズに応え、移動経路や地域情報等を提供できるサービスで、スマートフォン等を通し、ダイレクトに個人へ情報提供できる仕組みです。www.hokoukukan.go.jp - 国土地理院 : パブリックタグ情報共有プラットフォーム
パブリックタグ情報共有プラットフォームTOPTopページucopendb.gsi.go.jp - 気象庁 : 気象データ高度利用ポータルサイト
気象庁 Japan Meteorological Agency気象データ高度利用ポータルサイトwww.data.jma.go.jp - 文化庁 : Culture NIPPONに公開されている文化施設の情報を公開します
Culture NIPPONCulture NIPPON（カルチャーニッポン）は、文化庁が運営する日本全国各地の文化プログラム（文化イベント）等の情報を発信するためのポータルサイトです。culture-nippon.go.jp
１、２、３は、もういっぱいありすぎて探せないですね（笑）相互に入っているので、余計に分かりにくいです。
３は、東京都オープンデータカタログ直接見た方が良さそうです。道路工事とかの情報も載ってますが、かなりデータをたどらないと、何のデータか分からないものが多いですね（笑）
opendata-catalogue.metro.tokyo.jp
４がなかなか優れものかも知れません。
その中でも
・らくらくおでかけマップ （駅などのバリアフリー情報がのってます）
www.ecomo-rakuraku.jp
全国の無縁LANのスポットが出てます。
東京都版は、
にありますね。
プログラムレスなスクレイピング
この中から、小平とか周辺だけのデータが上がってきたら、見えるようにするとかも面白いかも知れませんね。
スクレイピングと呼ばれる方法です。
これ、なかなか的を得ているように思います。いっぱいデータあるけど、探せないっていう現状と、それを使えないっていうことの方が問題になってきているのかもしれないですね。
でも、スクレイピングツールは、もうどれもやってないみたい。
他のものでフリーで使えるものを拾ってみました。
Octoparse
www.octoparse.com
登録してみると、ダウンロードして、つかうWindowsのソフトウェアですね。一応フリーで使えます。自分のコンピュータからするのは、少し勇気がいるかもですけど（笑）
プログラミングせずにできるので、自分の情報収集にはいいかもしれませんね。また使ったらレポートします。
WP Scraper
ja.wordpress.org
WordPressにもPlugINで、スクレイピングツールがあるようです。入れてみたけど、単純にリンクをつくってくれるだけのようです。あんまり意味ないから消した。。
けど、固定されているサイトのURLの中身のリンク集を作るとかなら使えそうです。
PDFからXMLへ変換するツール
tabula.technology
インストールして使うタイプ。表を選んでCSV,JSONなどに変換してくれます。クリップボードにコピーできるのは、結構便利ですね。
pdftables.com
こちらはWebサービス。２２ページまでは、無料です。ログインすると５０ページまで無料だそうです。
スクレイピングはやっぱりプログラムレスは、有料なのね。。
って・・・ツールで使えるのってTablaだけだな（笑）
やっぱりこのあたりを読んでPythonでやった方が良さそうな雰囲気です。
takahiromiura.github.io
こういうCloud IDEで動かしたら怒られるのかな？ｗ
www.pythonanywhere.com
pythonfiddle.com
