主頁 > 知識庫 > Ruby中的Mechanize的使用教程

Ruby中的Mechanize的使用教程

熱門標(biāo)簽:百度地圖標(biāo)注自定義圖片 白銀外呼paas系統(tǒng) 常德電銷平臺外呼系統(tǒng)軟件價格 徐州網(wǎng)絡(luò)外呼系統(tǒng)哪個好 地圖標(biāo)注賺錢項目注冊 滴滴外呼系統(tǒng) 電銷機器人廠商代理 高德地圖標(biāo)注客服 湖州u友防封電銷卡

Ruby中實現(xiàn)網(wǎng)頁抓取,一般用的是mechanize,使用非常簡單。

安裝

復(fù)制代碼 代碼如下:

sudo gem install mechanize

抓取網(wǎng)頁
復(fù)制代碼 代碼如下:

require 'rubygems'
require 'mechanize'
agent = Mechanize.new
page = agent.get('http://google.com/')

模擬點擊事件
復(fù)制代碼 代碼如下:

page = agent.page.link_with(:text => 'News').click

模擬表單提交
復(fù)制代碼 代碼如下:

google_form = page.form('f')
google_form["q"] = 'ruby mechanize'
page = agent.submit(google_form, google_form.buttons.first)
pp page

分析頁面,mechanize用的是nokogiri解析網(wǎng)頁的,所以可以參照nokogiri的文檔
復(fù)制代碼 代碼如下:

table = page.search('a')
text = table.inner_text
puts text

有幾點注意的地方: 如果需要先登錄的網(wǎng)頁,那么可以在網(wǎng)站先登錄,登錄后記錄JSESSIONID,然后賦值給agent
復(fù)制代碼 代碼如下:

cookie = Mechanize::Cookie.new("JSESSIONID", "BA58528B76124698AD033EE6DF12B986:-1")
cookie.domain = "datamirror.csdb.cn"
cookie.path = "/"
agent.cookie_jar.add!(cookie)

如果需要保存網(wǎng)頁,使用.save_as,(或許save也可以,我沒試過)例如
復(fù)制代碼 代碼如下:

agent.get("http://google.com").save_as

小技巧

puts Mechanize::AGENT_ALIASES 可以打印出所有可用的user_agent
puts Mechanize.instance_methods(false) 輸出Mechanize模塊的所有方法
puts Mechanize.instance_methods()   輸出Mechanize模塊的所有方法以及所繼承的類的函數(shù)

您可能感興趣的文章:
  • 在Python中使用mechanize模塊模擬瀏覽器功能
  • Ruby中使用mechanize批量下載校內(nèi)網(wǎng)相冊照片
  • python中mechanize庫的簡單使用示例
  • Python使用Mechanize模塊編寫爬蟲的要點解析

標(biāo)簽:普洱 荊門 公主嶺 三沙 遼寧 張家界 永州 梧州

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《Ruby中的Mechanize的使用教程》,本文關(guān)鍵詞  Ruby,中的,Mechanize,的,使用,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《Ruby中的Mechanize的使用教程》相關(guān)的同類信息!
  • 本頁收集關(guān)于Ruby中的Mechanize的使用教程的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章