【Opendata】東京都オープンデータなど、近場のデータセットと、ツールのリンク集(PDF変換くらいかな?)【Tips】

東京公共交通オープンデータチャレンジ

ふと、このチャレンジのサイトが目に留まり。。

データセットがAPIで公開されている(登録必要)のを見て

データセット - 公共交通オープンデータセンター カタログサイト

もっと使えるのがないかな?って見てたら沢山でてきたので、ちょっとリンク集のように作っておきます。

まず、このサイトで紹介されていたリンク集

  1. 内閣官房IT総合戦略本部 : 政府データカタログサイト
    http://www.data.go.jp/
  2. 政府統計の総合窓口(e-Stat)
    政府統計の総合窓口(e-Stat)−API機能へようこそ | 政府統計の総合窓口(e-Stat)−API機能
  3. 東京都 : 東京都オープンデータカタログサイト
    東京都オープンデータカタログサイトホームページ
    東京都のオープンデータを検索・ダウンロードできる「カタログ」サービスです。
  4. 国土交通省 : 歩行移動支援サービスに関するデータサイト
    歩行者移動支援サービスに関するデータサイト|トップページ
    歩行者移動支援サービスは、様々な場面における利用者の情報ニーズに応え、移動経路や地域情報等を提供できるサービスで、スマートフォン等を通し、ダイレクトに個人へ情報提供できる仕組みです。
  5. 国土地理院 : パブリックタグ情報共有プラットフォーム
    パブリックタグ情報共有プラットフォームTOP
    Topページ
  6. 気象庁 : 気象データ高度利用ポータルサイト
    気象庁 Japan Meteorological Agency
    気象データ高度利用ポータルサイト
  7. 文化庁 : Culture NIPPONに公開されている文化施設の情報を公開します
    Culture NIPPON
    Culture NIPPON(カルチャーニッポン)は、文化庁が運営する日本全国各地の文化プログラム(文化イベント)等の情報を発信するためのポータルサイトです。

1、2、3は、もういっぱいありすぎて探せないですね(笑)相互に入っているので、余計に分かりにくいです。

3は、東京都オープンデータカタログ直接見た方が良さそうです。道路工事とかの情報も載ってますが、かなりデータをたどらないと、何のデータか分からないものが多いですね(笑)

データセット - 東京都オープンデータカタログサイト

4がなかなか優れものかも知れません。

その中でも

アプリケーション開発に役立つデータサイト

・らくらくおでかけマップ (駅などのバリアフリー情報がのってます)

らくらくおでかけネット
らくらくおでかけネット

無料公衆無線LANスポット

全国の無縁LANのスポットが出てます。

東京都版は、

FREE Wi-Fi & TOKYO スポット情報

【東京都産業労働局】 外国人旅行者等が多く訪れる都立施設などにおいて無料で利用できる公衆無線LAN(Wi-Fi)サービス「FREE Wi-Fi & TOKYO」のスポット一覧です。

にありますね。

プログラムレスなスクレイピング

この中から、小平とか周辺だけのデータが上がってきたら、見えるようにするとかも面白いかも知れませんね。

スクレイピングと呼ばれる方法です。

これ、なかなか的を得ているように思います。いっぱいデータあるけど、探せないっていう現状と、それを使えないっていうことの方が問題になってきているのかもしれないですね。

でも、スクレイピングツールは、もうどれもやってないみたい。

他のものでフリーで使えるものを拾ってみました。

Octoparse

Web Scraping Tool & Free Web Crawlers | Octoparse
A Free, Simple, and Powerful Web Scraping Tool. Automate Data Extraction from websites within clicks without coding.

登録してみると、ダウンロードして、つかうWindowsのソフトウェアですね。一応フリーで使えます。自分のコンピュータからするのは、少し勇気がいるかもですけど(笑)

プログラミングせずにできるので、自分の情報収集にはいいかもしれませんね。また使ったらレポートします。

WP Scraper

WP Scraper
This WordPress Scraper allows you to move a non-Wordpress website into a WordPress site.

WordPressにもPlugINで、スクレイピングツールがあるようです。入れてみたけど、単純にリンクをつくってくれるだけのようです。あんまり意味ないから消した。。

けど、固定されているサイトのURLの中身のリンク集を作るとかなら使えそうです。

PDFからXMLへ変換するツール

Tabula: Extract Tables from PDFs
Tabula is a free tool for extracting data from PDF files into CSV and Excel files.

インストールして使うタイプ。表を選んでCSV,JSONなどに変換してくれます。クリップボードにコピーできるのは、結構便利ですね。

PDF to Excel | Convert PDF to Excel — PDFTables
Try our free PDF to Excel online converter - no email required. Convert to one or many worksheets. Easy to use and no download required

こちらはWebサービス。22ページまでは、無料です。ログインすると50ページまで無料だそうです。

スクレイピングはやっぱりプログラムレスは、有料なのね。。

って・・・ツールで使えるのってTablaだけだな(笑)

やっぱりこのあたりを読んでPythonでやった方が良さそうな雰囲気です。

https://takahiromiura.github.io/web_scraping.html

こういうCloud IDEで動かしたら怒られるのかな?w

Host, run, and code Python in the cloud: PythonAnywhere
Host, run, and code Python in the cloud: PythonAnywhere
Python Cloud IDE | Python Fiddle
The Python IDE for the web. Play around with and modify live example code. Share or demonstrate solutions to problems.

  • 8
    シェア
スポンサーリンク
スポンサーリンク




PHP Code Snippets Powered By : XYZScripts.com