ウェブ-HACKS 「とりあえずやってみよう！」ブログでタグ「クローラー」が付けられているもの

以前に作ったRubyクローラーを改造して、検索フォームに自動で値を設定するプログラムをつくりました。その際にテキストフィールドのnameにハイフンがあり値の設定にはまったので解決方法を記載します。
以下ですとエラーとなります。 ※keyword-fieldにハイフンが入っているためです。

    page = @agent.get('http://example.com')
    search_form = page.forms.with.action('http://example.com/search.html').first
    search_form.keyword-field = keyword

実は以下のように['keyword-field']とすればＯＫ。簡単です。いろいろ検索したのですが、解決策が探せなかったので、記載してみました。

    page = @agent.get('http://example.com')
    search_form = page.forms.with.action('http://example.com/search.html').first
    search_form['keyword-field'] = keyword

何度も同じようなプログラム(Rubyでスクレーピング)を作成しているような気がしますが、久々のRubyでクローラー作成。なんでこんなに何度も書くのかというと結構チェックしたいサイトが多く、仕事でも頼まれるためです。

※Perlで作成したクローラーはこちら

今回はきっちりクラスらしく作りました。結構汎用的になっているのではないかと思います。簡単なスクリプトです。
ソースはこれまで通りクリエイティブコモンズで。

#!/usr/bin/ruby -Ks
require 'hpricot'
require 'mechanize'
require 'kconv'
$KCODE = 's'

class Crawler
  def initialize(wait_time, internal, ngwords)
    @agent = WWW::Mechanize.new
    @wait_time = wait_time
    @internal = internal
    @ngwords = ngwords
    @links = []
  end

  def http_connect(url)
    print "OK\n"
    @page = @agent.get(url)
  end

  def crawl(root)
    @page = @agent.get(root)
    @page.links.with.href(%r{}).each{|link|
      if link.href =~ /^http/
        url = link.href
      else
        %r|http://([^/]*)/| =~ root
        url = 'http://' + $1 + '/' + link.href
      end
      @links << url.sub(/#.*$/,'')
    }
    @links.uniq!.delete(root)
    puts @links
    @links.each{|link|
      begin
        print link if $DEBUG
        next unless access_test?(link)
        http_connect(link)
        sleep @wait_time
      rescue => ex
        puts ex.message
      end
    }
  end

 private
  def access_test?(link)
    unless %r|#{@internal}| =~ link
      print "External Link.\n"
      return false
    end
    @ngwords.each{|ng|
      if /#{ng}/ =~ link
        print "NG Word\n"
        return false
      end
    }
    true
  end
end

かなり以下のサイト参考になります。何度も読ませて頂きました。

【参考サイト】

• Rubyでスクレーピング(mechanizeとhpricot)
• Perlでクロールする（LWP::UserAgent）
  
• RubyScraping - FrontPage
• Greenbear Diary - RubyでHTMLとWebを操作するためのライブラリ、HpricotとWWW::Mechanize , HikiReload