Webサイト内の情報を、自動でデータ取得できるツール【Octoparse】

Octoparseは、Webページ内の希望する特定の情報を、自動巡回してデータとして取得（スクレイピング）してくれるツールです。

例えば、「あるECサイト内の特定商品群の品目数や価格を知りたい」「新商品情報を、わざわざサイトをチェックすること無しにGetしたい」といった要望に対し、コーディングすることなくマウスクリックだけで自動取得フローを作成できます。

サービス概要

【商品名】Octoparse
【商品の特徴と尖ってるポイント】
　・日々の株価取得、ECサイトの個々の商品情報取得のプログラムを手軽に作成可能
　・コーディング技術は必要なし、マウス操作のみでOK
　・日本語対応
【企業名】Octopus Data Inc.
【会社所在地】アメリカ
【URL】 https://www.octoparse.jp/
【価格】無料版あり・月85ドル～

サービスの詳細

OctoparseはWeb上のサービスではなく、PCへのインストールが必須のアプリです。まずはダウンロード→インストールを行ってから起動しましょう。

こちらがメイン画面です。チュートリアルの動画もあるので、「スクレイピングとは何？」という方は、こちらの記事も参考にしてみてください。

今回は楽天市場にて「Bluetooth　キーボード」の商品と価格を入手してみようと思います。

普段使っているブラウザでターゲットページ（対象ECサイトでの検索結果、商品一覧画面など）を開き、そのアドレスを「新規作成」画面内に貼り付けます。

すると、該当ページの読み込みが始まります。

認識可能な文字列をどんどん読み込んでいきます。
この時、取得情報の取捨選別が可能。あわせて、特定のリンクをクリックして型番など詳細情報を得る、1ページ目だけでなく2ページ目でも情報取得を行う、といった場合は実際にプレビュー画面内でクリックしてアクションをOctoparseに認識させます。（ワークフローの作成）

この作業を必要十分な量に達するまで続けていきます。

データのエクスポートには、XLSX, CSV, HTML, JSONの各種ファイルタイプに対応しています。

今回はCSVで取得しました。

料金プランはご覧の通りです。

無料プランでもお試し程度であれば問題なく使用できます。
ただし、商用利用など本格的に利用するのであれば、月89ドルからの有料プランに移行したほうが無難でしょう。

著者の勝手に評価

サイトの総評

プログラミングの知識にない人間でも、情報取得の自動化ができるというのは画期的です。
多少手間はかかりますが、日頃やっている「サイトを開く」「見る（読む）」「クリックする」「確認する」といったルーチンワークを自動化し、結果をシートで提供してくれます。

日常業務やネットサーフィンの中でも意図せずとも必ずやっているお決まりの行動というのはよくあります。こうしたものを自動化することによって、省力化→他のことに費やす時間が増えることは間違いありません。

その意味で、スクレイピングは今後広まりを見せるのではないでしょうか。

気になった点としては、テンプレートをいくつか用意しているのですが、きちんと動くものがそう多くなかった事です。
手軽さを強調するのであれば、このあたりのアップデートはもう少し頻繁であってもいいのかなと感じました。
テンプレートを少しいじることで自分好みのシステムが構築できれば、もっと初心者に優しい仕様になると思います。

とはいえ、「自動化」は今後ますます注目を集める分野。気になる方はぜひ試してみてください。

勝手に星で採点

注) 当サイトの独断と偏見に基づいて評価しておりますので、参考程度と捉えていただきますよう予めご了承願います。