Nginx作為API代理
有很多原因說明你為什使用nginx作為API代理。首先因?yàn)樗情_源的；其次，Nginx有大量的安裝基礎(chǔ)，他背后有一個強(qiáng)大的社區(qū)支持，在性能方面也表現(xiàn)的非常出色。對于我們來說，這是顯而易見的，如果開源軟件有相同的解決方案我們?yōu)樯哆€要用那些私有的軟件。
另外一個極大的優(yōu)勢就是nginx對lua的支持，nginx+lua是一個非常好的組合，它允許使用一個高性能的腳本語言擴(kuò)展nginx。nginx有很多方法是自帶的，但是使用lua沒有限制的。
原理很簡單。有沒有這樣的情況你更喜歡使用基于nginx的API代理而不是它自帶的方法呢？呵呵，你可以非常簡單的添加。
擴(kuò)展目標(biāo): Sentiment API (可以是任何API)
為了展示nginx和lua的強(qiáng)大之處，我們將使用一個簡單的REST API調(diào)用Sentiment，不使用任何一行API源碼（可以直接使用github上的）。
Sentiment API 是一個非?；A(chǔ)的API，它返回一個有情感價值分析的單詞或者句子。比如，下面的請求（你可以自己試試）
復(fù)制代碼 代碼如下:
curl http://api-sentiment.3scale.net/v1/word/fantastic.json
上面的請求將返回包含fantastic情感分析單詞的json串。
復(fù)制代碼 代碼如下:
{"sentiment":4,"word":"fantastic"}
我們有了擴(kuò)展對象，接下來繼續(xù)吧…
分析部分: 擴(kuò)展Sentiment API
有很多方式你可以擴(kuò)展Sentiment API（或者你自己的API）。為了符合這篇文章的主題，我們限定了三種場景來展示nginx+lua的強(qiáng)大之處和可擴(kuò)展性。
1) 想做數(shù)據(jù)轉(zhuǎn)換?
想把輸出數(shù)據(jù)從json轉(zhuǎn)換為xml格式？或者更好一些，把xml轉(zhuǎn)換為json。
2) 想更換你的API方法的簽名?
你想把漂亮的 REST形式的url path/v1/word/WORD.json替換為貌似更加 “漂亮的” 簽名方式 parameters/sentiment?action=wordword=WORDversion=v1.
我們不能容忍變成那樣的路徑方式:-)這應(yīng)該是個反面例子，自從Sentiment API改為RESTful方式，這個例子應(yīng)該反過來了。
3) 想創(chuàng)建一個新的API方法?
沒問題，你可以自己創(chuàng)建個新的API方法得到你想要的，或者有可能，你可以不接觸任何API源碼來擴(kuò)展你的API方法。
我們將展示下創(chuàng)建一個Sentiment API的新方法：用來查找在一個句子中最有情感分析價值的單詞。這個方法在Sentiment API沒有提供，但是我們可以通過nginx和lua創(chuàng)建它。
這個案例無論對于用戶還是對于API開發(fā)者多有很大的潛能?；旧峡梢栽试S你自己在不修改源碼的基礎(chǔ)上定制API，或者，這還有酷斃了的一部分，允許你定制你不能控制的API。想在包含一系列方法的Twitter API上創(chuàng)建自己的方法？當(dāng)然可以，結(jié)果可能是你的應(yīng)用程序代碼更簡潔了。
這只是使用nginx+lua擴(kuò)展的三個簡單例子。還有一些其他例子我們只是為了突出使用nginx+lua擴(kuò)展你的API有多么簡單和強(qiáng)大。
讓我們開始做點(diǎn)實(shí)際的東西吧…
使用lua擴(kuò)展nginx
我們假設(shè)你應(yīng)經(jīng)對nginx基礎(chǔ)概念有了了解(servers, locations, 等…)
擴(kuò)展nginx我們必須先提供lua的支持，它不是ngnix的一部分。我們無需擔(dān)心因?yàn)橐呀?jīng)有很多組件編譯進(jìn)了lua，像:
- openresty (在3scale)
- tengine
如果你堅(jiān)持自己安裝 :-) 你可以自己安裝下面的組件:
- Lua nginx module
- HttpProxy module
事實(shí)上，如果你不想用lua而是更喜歡perl，查看下這個頁面look at the CPAN page，這里提供了全部文檔。
基礎(chǔ)部分
整個處理過程是代理請求到真實(shí)的API，主要通過下面過程：1）捕獲請求傳遞給API 2)響應(yīng)請求，接著 3）處理響應(yīng)。
下面展示了nginx配置文件中的相關(guān)配置:
復(fù)制代碼 代碼如下:
upstream backend {
# service name: API ;
server api-sentiment.3scale.net:80 max_fails=5 fail_timeout=30;
}
server {
listen 8181;
location ~ /v1/word/(.*)\.json$ {
proxy_pass http://backend/v1/word/$1.json ;
}
}
這里我們只配置了一個路由地址:/v1/word/your-word-goes-here.json。這個路由在Sentiment API上返回一個結(jié)果. Nginx 只是負(fù)責(zé)做一個簡單的傳遞。
你可以啟動你的nginx (監(jiān)聽本地端口 8181) ，用下面的方式發(fā)送一個請求
復(fù)制代碼 代碼如下:
curl http://localhost:8181/v1/word/fantastic.json
它將返回一個同樣的json
復(fù)制代碼 代碼如下:
{"sentiment":4,"word":"fantastic"}
我們只是給真實(shí)的Sentiment API做了個中轉(zhuǎn)。讓我們帶著興趣繼續(xù)吧…
1) 數(shù)據(jù)轉(zhuǎn)換
JSON 到 XML
在nginx配置文件添加新的路由，如下：
復(fù)制代碼 代碼如下:
upstream backend {
# service name: API ;
server api-sentiment.3scale.net:80 max_fails=5 fail_timeout=30;
}
server {
listen 8181;
location ~ /v1/word/(.*)\.json$ {
proxy_pass http://backend/v1/word/$1.json ;
}
location ~ /v1/word/(.*)\.xml$ {
content_by_lua_file /PATH_TO/json_to_xml.lua;
}
}
我們僅添加了一個新路由:/v1/word/your-word-goes-here.xml。這個路由將把 Sentiment API輸出的json轉(zhuǎn)換為xml格式。我們沒有做一個傳遞，而是通過調(diào)用一個lua文件實(shí)現(xiàn)邏輯的（不要擔(dān)心，很簡單）。
現(xiàn)在你可以做下面的工作了，
curl http://localhost:8181/v1/word/fantastic.xml
你將獲取到下面信息：
復(fù)制代碼 代碼如下:
?xml version="1.0" encoding="UTF-8"?>
response>
sentiment>4/sentiment>
word>fantastic/word>
/response>
這里發(fā)生了什么？好吧，我們基本上把Sentiment API輸出的json數(shù)據(jù)轉(zhuǎn)換成了xml格式！
lua的魔法
轉(zhuǎn)化json為xml需要一系列的lua libs:
- cjson :通過luarocks安裝或者在項(xiàng)目主頁上下載手動安裝。
- luaXml : 我們將使用一個補(bǔ)丁版本來使他在nginx下工作，你可以在這里下載補(bǔ)丁版本here
如果你在安裝luaxml時遇到問題，那么可以直接安裝luarocks作為替代方案，把luaxml文件放到openresty里面的lua lib目錄下，查找lua libs默認(rèn)目錄就是openresty。
當(dāng)我們訪問xml路由時,nginx將調(diào)用lua文件
復(fù)制代碼 代碼如下:
local xml = require("LuaXml")
require("os")
local cjson = require "cjson"
local path = ngx.var.request:split(" ")[2]
local m = ngx.re.match(path,[=[/([^/]+)\.(json|xml)$]=]) -- match last word
local res = ngx.location.capture("/v1/word/".. m[1] .. ".json" )
local value=cjson.new().decode(res.body)
local response = xml.new("response")
response.word= xml.new("word")
response.sentiment = xml.new("sentiment")
response.timestamp = xml.new("timestamp")
table.insert(response.word, value.word)
table.insert(response.sentiment, value.sentiment)
table.insert(response.timestamp, os.date())
ngx.say('?xml version="1.0" encoding="UTF-8"?>', xml.str(response,0))
這個lua文件做了一個本地json請求，使用下面的配置
復(fù)制代碼 代碼如下:
local res = ngx.location.capture("/v1/word/".. m[1] .. ".json" )
它直接請求的真實(shí)的Sentiment API，一旦你有了json對象，我們就可以按照規(guī)則轉(zhuǎn)化為xml格式，從
復(fù)制代碼 代碼如下:
{"sentiment":4,"word":"fantastic"}
到
復(fù)制代碼 代碼如下:
?xml version="1.0" encoding="UTF-8"?>
response>
sentiment>4/sentiment>
word>fantastic/word>
/response>
注意split函數(shù)在lua中不存在，但是你可以參照這里 but you can use this one.
現(xiàn)在，這個轉(zhuǎn)換是個手動過程，我們需要知道json的字段名稱，但是我們也可以采用自動的方式分配json對象名稱為指定的xml標(biāo)簽。
既然我們已經(jīng)轉(zhuǎn)化為xml了，我們想要給輸出的xml添加額外的字段，比如時間戳怎么處理呢?
添加一個時間戳
在lua代碼塊中，你有整個的lua環(huán)境變量可以自由使用，因此我們使用os模塊來獲取當(dāng)前時間。
我們僅需在ngx.say行之前添加下面幾行。
復(fù)制代碼 代碼如下:
require("os")
response.timestamp = xml.new("timestamp")
table.insert(bar.timestamp, os.date())
當(dāng)我們調(diào)用/xml時將從api輸出下面結(jié)果
復(fù)制代碼 代碼如下:
?xml version="1.0" encoding="UTF-8"?>
response>
sentiment>3/sentiment>
word>hello/word>
timestamp>Wed Jan 9 15:34:56 2013/timestamp>
/response>
酷斃了吧？怎么樣，不難吧騷年 :)
XML 到 JSON
為了演示例子我們做一個從xml到j(luò)son的轉(zhuǎn)換. 讓我們在nginx配置文件中添加一個新的配置:
復(fù)制代碼 代碼如下:
location ~ ^/round-trip/v1/word/(.*).json$ {
content_by_lua_file /PATH_TO/xml_to_json.lua;
}
xml_to_json.lua如下所示:
復(fù)制代碼 代碼如下:
local xml = require("LuaXml")
local cjson = require "cjson"
local path = ngx.var.request:split(" ")[2]
local m = ngx.re.match(path,[=[/([^/]+)\.json]=])
local res = ngx.location.capture("/v1/word/".. m[1] .. ".xml")
local my_xml = xml.eval(res.body)
local sent_val = my_xml:find("sentiment")[1]
local word_val = my_xml:find("word")[1]
local t = {sentiment = sent_val, word = word_val}
local value=cjson.encode(t)
ngx.say(value)
正如你所看到的，我們點(diǎn)擊我們剛剛創(chuàng)建的xml端點(diǎn)路由時，那么，我們將使用LuaXml解析xml并且使用cjson生成合理的json。
注意我們在這里沒有遵循任何規(guī)范，轉(zhuǎn)換xml到j(luò)son一般情況下是存在一些問題的，因?yàn)閤ml可讀性比json好。一般做轉(zhuǎn)換時你需要遵循一定的規(guī)范，比如BadgerFish 或者 Parker，或者你自己創(chuàng)建的規(guī)范。
2) 重寫API方法
使用nginx重寫你的api方法是件微不足道的事，這樣對于開發(fā)者開說就更容易使用他們的api了。典型的例子就是舊的扭曲的API，我們想對其美化使得它對REST更加友好。
解決這個問題的一個方式是修改API源碼的路由。然而，很多時候你不想改變源碼，雖然改變源碼也能實(shí)現(xiàn)，但是是一種落后的方法?？朔切┙佑|源碼的擔(dān)憂，可以在nginx上添加一層，這樣就不用接觸和重新部署那些奇怪的代碼了 :-)
為了用例子來說明，我們將轉(zhuǎn)換一個類似于REST的API方法
復(fù)制代碼 代碼如下:
/v1/word/WORD.json
對于一些使用查詢參數(shù)的更“漂亮的”方式，如下：
復(fù)制代碼 代碼如下:
/sentiment?action=wordversion=v1word=WORD
這種“升級”可以有多種方式實(shí)現(xiàn)。 對于熟悉nginx的可以簡單的通過重寫規(guī)則來解決這個問題。如果你更喜歡使用“sysadmin”方式，你可以按如下方式:
復(fù)制代碼 代碼如下:
location ~ /sentiment$ {
content_by_lua '
local params = ngx.req.get_query_args()
if (params.action == "word" and params.version ~= nil) then
local res= ngx.location.capture("/".. params.version ..
"/word/" .. params.word .. ".json")
ngx.say(res.body)
end
';
}
正如上面這樣?，F(xiàn)在sentiment API也接受如下舊的API方法:
復(fù)制代碼 代碼如下:
curl http://localhost:8181/sentiment?action=wordword=fantasticversion=v1
這將返回預(yù)期的JSON對象。
3) 數(shù)據(jù)聚合
Nginx和lua可以幫助我們完成更為復(fù)雜的事情，像根據(jù)不同的方法組成一個全新的API方法。
在例子中，我們通過創(chuàng)建一個新的方法擴(kuò)展了Sentiment API，這個方法返回一個句子中最有情感價值的單詞。
或許使用這樣的方法不值得大談特談:-D但是每次你都希望通過調(diào)用一個API完成4個方法調(diào)用，或者你可以通過單個任務(wù)調(diào)用其他3個不同的方法。你可以把你的方法聚集到一個API方法里來供應(yīng)用程序調(diào)用!
讓我們繼續(xù)看這個例子，首先我們需要添加一個新的配置,
復(fù)制代碼 代碼如下:
location ~ ^/v1/max/(.*).json$ {
content_by_lua_file /PATH_TO/max.lua;
}
接下來，我們只需要把聚集方法寫到lua腳本里:
復(fù)制代碼 代碼如下:
local path = ngx.var.request:split(" ")[2] -- path
local t={}
local cjson = require "cjson"
ngx.log(0, path[2])
local m = ngx.re.match(path,[=[^/v1/max/(.+).json]=])
local words = m[1]:split("+") -- words in the sentence
local max = nil
for i,k in pairs(words) do
local res_word = ngx.location.capture("/v1/word/".. k .. ".json" )
local value=cjson.new().decode(res_word.body)
if max == nil or max.sentiment value.sentiment then
max = value
end
end
ngx.say(cjson.new().encode(max))
如你所見，他不能再簡單了。首先，我們獲取到句子，切分單詞，然后對每個單詞調(diào)用API請求/v1/word。我們把情感分析價值較高的對象存儲起來。
最終結(jié)果很簡單，像下面的請求:
復(fù)制代碼 代碼如下:
curl -g http://localhost:8181/v1/max/nginx+and+lua+are+amazing.json
我們獲取到積極情緒最高的單詞,
復(fù)制代碼 代碼如下:
{"sentiment":4,"word":"amazing"}
max.lua聚合函數(shù)的邏輯可以按照你想要的更加復(fù)雜，也可以獲取到任何你的API方法，不管是不是你能控制的API。
能否插件化? 完全可以。 你可以創(chuàng)建任意復(fù)雜的插件，然后讓他們在應(yīng)用程序中保持不可見。
結(jié)論
我們提到的這三個例子只是使用nginx和lua做的一個玩具性質(zhì)的實(shí)驗(yàn)。
在3scale上，我們已經(jīng)把類似的架構(gòu)應(yīng)用于生產(chǎn)環(huán)境，像一些高負(fù)載環(huán)境，沒有什么比這個結(jié)果更讓我們高興的了。
我們不斷地發(fā)現(xiàn)越來越多的地方可以使用這個特性，像netflix post一篇帖子最近提醒我們減少對APIs的調(diào)用次數(shù)可以在一些大業(yè)務(wù)量終端或者有缺陷的設(shè)備上取得顯著的性能提升效果。
Nginx + lua 是一個改變常規(guī)的技術(shù)，雖然它不太常用，但是相信我們的話，一旦你嘗試下你就會被他的強(qiáng)大、靈活和簡單所吸引。
擴(kuò)展一個API從來沒有這么簡單過。愛過！
您可能感興趣的文章:- 安裝Nginx+Lua開發(fā)環(huán)境
- nginx中使用lua腳本的方法
- openresty中使用lua-nginx創(chuàng)建socket實(shí)例
- Nginx+Lua+Redis構(gòu)建高并發(fā)Web應(yīng)用
- 使用nginx+lua實(shí)現(xiàn)信息訪問量統(tǒng)計(jì)
- linux系統(tǒng)安裝Nginx Lua環(huán)境
