• httparty ใช้สำหรับดีงหน้าเว็บ
• nokogiri ใช้สำหรับค้นหา และแกะข้อมูลจาก HTTP

เริ่มต้นก็เราเข้าไปในหน้าเว็บ top-new-releases จากนั้นก็เปิด inspector เพื่อดูว่าข้อมูลที่อยากได้อยู่ที่ element ไหน และพบว่าหนังสือแต่ละเล่มจะอยู่ภายใต้ div ซึ่งมี class name ชื่อ book-item โดยภายในก็จะมีชื่อหนังสือ ชื่อผู้แต่ง และเลข ISBN อยู่ใน meta อีกทีหนึ่งดังแสดงในรูปด้านล่าง

require 'httparty'
require 'nokogiri'
require 'csv'

class Scraper
  include HTTParty       

  CONTENT = /content="([\w\s\d\:\-\u00E9'\(\)!&;:?.,]+)"/ 

  def start(url)
    response = HTTParty.get(url)
    doc = Nokogiri::HTML(response.body)    
    books = doc.css('.book-item').map do |link|      
      title = meta(link, 'name')
      author = meta(link, 'contributor')
      isbn = meta(link, 'isbn')
      
      Book.new title: title, author: author, isbn: isbn
    end
   
    export_to_csv(books)  
  end
  
  def meta(link, name)
    CONTENT.match(link.css("meta[itemprop='#{name}']").to_s).captures.first
  end

  def export_to_csv(books)    
    CSV.open("./data/books.csv", "wb") do |csv|      
      csv << [ 'title', 'author', 'isbn' ] # header      
      books.each do |book|        
        csv << [ book.title, book.author, book.isbn ]      
      end    
    end
    puts "Export to CSV success"  
  end
end

class Book  
  attr_accessor :title, :author, :isbn
  def initialize(**kwargs)    
    kwargs.each do |key, value|      
      send("#{key}=", value)    
    end  
  end
end

Scraper.new.start 'https://www.bookdepository.com/top-new-releases'