スポンサーサイト

上記の広告は1ヶ月以上更新のないブログに表示されています。
新しい記事を書く事で広告が消せます。

Tag:スポンサー広告 

【Ruby】サイトをクロールするライブラリAnemoneをインストールして動かしてみる

サイトをクロールするのに便利なフレームワーク「Anemone」を使ってみました。

インストール

gem install anemone

ここでrobotsというgemも一緒にはいるのですが、こいつのパーミッションが足りずに怒られることがあるかもしれないので、読み込めるように適切なパーミッションを与えます。(他に解決方法があれば教えてほしいくらいです。)

僕の場合は

chmod 755 /usr/local/lib/ruby/gems/1.9.1/gems/robots-0.10.1/lib/robots.rb

で解決しました

サンプル


require 'rubygems'
require 'anemone'

Anemone.crawl("http://test.example.com/") do | anemone |
anemone.on_every_page do |page|
puts page.url
end
end


本家のサイトをみるとこんなサンプルでページをクロールしていってくれるようです。とても便利ですね。
スポンサーサイト
テーマ : プログラミング
ジャンル : コンピュータ

Tag:Ruby  Trackback:0 comment:0 

Comment

comment form
(編集・削除用):
管理者にだけ表示を許可
プロフィール

6rats

Author:6rats
こんにちは、ITベンチャーで働くエンジニアです
主に自分の周りで起きた技術的なことをメモとして書き残して行きます。
Android以外にもRuby/Ruby on RailsやFuelPHPなどなどたまにやります。基本的なスタンスとしては興味があるもしくは必要になったらいろんなことにチャレンジします。
最近はiOSアプリ開発を始めています。

購読
follow us in feedly
個人プロダクト

Androidアプリ

Twitterクライアント

Webアプリケーション

EcPriceWatch(Amazon価格の推移を計測、最安値を知らせるサービス)
Google AdSense
ブログ村
にほんブログ村 IT技術ブログへ
にほんブログ村
ブロとも申請フォーム

この人とブロともになる

上記広告は1ヶ月以上更新のないブログに表示されています。新しい記事を書くことで広告を消せます。