「Lua」カテゴリーアーカイブ

lua-resty-httpを利用したCookieの操作

こんにちは。配信/インフラチームの佐々木です。

弊社では広告配信にLuaを利用しておりますが、LuaでCookieを扱う際lua-resty-httpというモジュールを利用すると、Cookieが複数の場合などに非常に便利です。そこで今回はresty-httpを利用したCookieSyncの流れを、サンプルコードと共に説明したいと思います。一言にCookieSyncと言っても色々な方式がありますが、今回はSSP(united.jp)側からDSP(example.net)のCookieを自ドメインで保存する形式で記載します。

function fetch(_v)
    local target_url　= "http://example.net"
    local request_args = {"message": "abc"}
    local lua_resty_http = require('resty.http')
    local httpc = lua_resty_http.new()
    local request_cookies = {}

    for i in string.gmatch(ngx.var['http_cookie'], "[^%s]+") do
        if string.match(i, "_example_") then
            i = string.gsub(i, "%_example_", "")
                table.insert(request_cookies, i)
            end
        end
    end

    local res, err = httpc:request_uri(target_url, {
        method = "GET",
        query = request_args,
        timeout = 200,
        headers = 
            ["Cookie"] = table.concat(request_cookies, ' ')
        }
    })
(略)

function fetch(_v)

local target_url　= "http://example.net"

local request_args = {"message": "abc"}

local lua_resty_http = require('resty.http')

local httpc = lua_resty_http.new()

local request_cookies = {}

for i in string.gmatch(ngx.var['http_cookie'], "[^%s]+") do

if string.match(i, "_example_") then

i = string.gsub(i, "%_example_", "")

table.insert(request_cookies, i)

end

local res, err = httpc:request_uri(target_url, {

method = "GET",

query = request_args,

timeout = 200,

headers =

["Cookie"] = table.concat(request_cookies, ' ')

}

})

(略)

resty-httpでCookieを付与する処理は上記のようなコードになります。 "http://example.net"というURLにアクセスする際、クライアントが保持しているCookieから該当するプレフィックス_example_が付いている物だけ抽出し、プレフィックスを取り除いた上でヘッダに付与してリクエストします。プレフィックスを入れる処理は後述します。

    local client_cookies = {}
    local set_cookie = res.headers["Set-Cookie"]

    if type(set_cookie) == "string" then
        table.insert(client_cookies, set_cookie)
    elseif type(set_cookie) == "table" then
        client_cookies = set_cookie
    end

local client_cookies = {}

local set_cookie = res.headers["Set-Cookie"]

if type(set_cookie) == "string" then

table.insert(client_cookies, set_cookie)

elseif type(set_cookie) == "table" then

client_cookies = set_cookie

end

上記の処理では"http://example.net"から付与されたCookieをTableに保存しています。resty-httpの仕様として、SetされるCookieが単数の場合は文字列、複数の場合はTableとして扱われますので、両方のケースが想定される場合は上記のような処理になります。

    local put_cookies = {}
    for key, value in pairs(client_cookies) do
        example_cookie = ("_example_" ..value )
        example_cookie = string.gsub(example_cookie, "domain=.example.net", "domain=.united.jp")
        table.insert(put_cookies, example_cookie)
    end
    ngx.header['Set-Cookie'] = put_cookies

local put_cookies = {}

for key, value in pairs(client_cookies) do

example_cookie = ("_example_" ..value )

example_cookie = string.gsub(example_cookie, "domain=.example.net", "domain=.united.jp")

table.insert(put_cookies, example_cookie)

end

ngx.header['Set-Cookie'] = put_cookies

CookieSyncをする場合、どのドメインのCookieなのか区別する必要がありますので、プレフィックスに_example_を付与した上で、ドメインを書き換えます。こうして書き換えたCookieを、クライアントに保存します。再度クライアントがアクセスした際は、一番上の処理に戻り、保存されたCookieを付与してリクエストをします。

今回はCookieの処理のみになりますので非常に短いコードになりましたが、lua-resty-httpは非常にシンプルで扱いやすく、LuaでAPIを実装する際には非常に有効なモジュールとなっております。

今回は以上となります。

アドサーバ開発でのLuaの利用連載(3)

こんにちは。ユナイテッドの技術開発部で部長をしている伊良子です。

ユナイテッドでのアドサーバ開発では、Go, Lua, C言語(nginxモジュール)が主に使われる言語ですが、ここ1年ほどで急速にGoを利用するケースが増えています。新規でNginxのCモジュールを開発することはここ数年では皆無ですし、Luaで書かれているアドサーバをGoにリプレースするケースも出てきている状況です。最近ですと、数年前に私がLua+C言語で書いた弊社DSP『Bypass』のRTB入札サーバも、今ではGoに完全にリプレースされており、Luaが大好きだった私としては少々寂しいところです。しかしながら、保守性の高さからLuaを選択するアドバンテージは高いですし、また速度面でも（弊社内でのベンチマークではありますが）シンプルな処理であるほどLuaが勝るケースが多いため、シンプルなAPIサーバなど、利用の用途はまだまだあると考えています。

今回は、Luaを利用する上で、便利なモジュールを幾つかご紹介したいと思います。

lsyslog

https://github.com/remakeelectric/lsyslog

Luaからsyslogを使うラッパーモジュールです。C言語でコンパイルされたモジュールなので高速に動作しますし、rsyslogの設定と連携することでカスタムされたログを安定的に出力することが可能です。設定も簡単です。

一例として、Luaのサンプルコードと、それに対応したrsyslogの設定を下記します。

local syslog = require "syslog"

中略

-- output syslog
syslog.openlog("test_system", syslog.LOG_ODELAY, "LOG_USER")
local logstr = string.format("%d\t%s\ttest_system",
                             someone_id,
                             someone_name
                            )
syslog.syslog("LOG_INFO", logstr)
syslog.closelog()

local syslog = require "syslog"

中略

-- output syslog

syslog.openlog("test_system", syslog.LOG_ODELAY, "LOG_USER")

local logstr = string.format("%d\t%s\ttest_system",

someone_id,

someone_name

)

syslog.syslog("LOG_INFO", logstr)

syslog.closelog()

rsyslog.confでは、テンプレート設定とルールを設定します。この例の場合、時間ごとにファイルを切り替え、出力時間を先頭に付加した上で、プログラムから受け取った文字列を展開しています。

$template test_system,"/var/log/test_logs/test_system_log-%$year%%$month%%$day%%$HOUR%.log"
$template test_system_format,"%timegenerated%%msg%\n"

:syslogtag, contains, "test_system" -?test_system;test_system_format
:syslogtag, contains, "test_system" ~

$template test_system,"/var/log/test_logs/test_system_log-%$year%%$month%%$day%%$HOUR%.log"

$template test_system_format,"%timegenerated%%msg%\n"

:syslogtag, contains, "test_system" -?test_system;test_system_format

:syslogtag, contains, "test_system" ~

lua-cjson

http://www.kyne.com.au/~mark/software/lua-cjson.php

LuaからJSONを扱うモジュールです。C言語でコンパイルされているため非常に高速です。アドサーバは直接データベースを参照するケースは稀で、memcached等のオンメモリデータを参照するケースが多いのですが、その際データをアドサーバに対して受け渡すのに手軽な方法がJSONです。弊社では他にもバイナリにするケースや、messagepackを用いるケースもありますが、手軽さと視認性の高さからJSONを使うことが最も多いです。JSONを採用する上で問題になるのがデコードにかかるコストなのですが、様々なモジュールや方法を試した結果、最も良好な速度だったのが、このlua-cjsonです。

サンプルコードは下記のような形になります。

local json = require "cjson"

中略

local flag, ad_data = pcall(json.decode, json_text)
-- parse error
if not flag then
     ngx.log(loglv, "[ERROR] iliegal json")
     ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
end

local json = require "cjson"

中略

local flag, ad_data = pcall(json.decode, json_text)

-- parse error

if not flag then

ngx.log(loglv, "[ERROR] iliegal json")

ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)

end

まとめ

Luaは自分でC言語のモジュールを作ることが出来るので、Cのライブラリがあれば自分で高速なモジュールを作ることも可能です。弊社では、

hiredisライブラリを利用したRedis操作モジュール
libmemcachedを利用したmemcached操作モジュール
opensslライブラリを利用した、暗号/複合化モジュール

などで利用しています。 C言語と連携しないと複雑な処理を高速に実行することが難しいのがLua言語の特徴ですが、今回ご紹介したような鉄板モジュールが開発チーム内で定まっていれば、C言語を扱えないプログラマでも手軽にLuaでアドサーバを書くことが可能になります。

アドサーバ開発でのLuaの利用連載(2)

こんにちは。技術開発部で部長をしている伊良子と申します。

前回は、Luaを採用した経緯/理由について書くことで、Lua及びngx_luaの紹介をさせて頂きました。連載第二回の今回はngx_luaをより高速に動作させるためのTIPSをご紹介したいと思います。

LuaJITを利用する

Luaの最新バージョンは5.3ですが、ngx_luaがサポートしているのは5.1までです。ngx_luaは、このLua5.1を使用するよりもJITコンパイラ版であるLuaJITの使用を推奨しています。LuaJITはLua5.1系に対応した本家Luaとは別のプロジェクトで、本家Luaと比べて高速に動作します。
弊社でもngx_luaを利用し始めた当初は本家Luaを使用していたのですが、LuaJITに切り替えた際には1.3倍以上のパフォーマンス向上となりました。実際のアプリケーションでの速度比較なため、速度低下の要因は様々あるにも関わらずLuaJITに変えただけで1.3倍高速になったのには驚きました。

ngx_luaでの利用ではありませんが、本家LuaとLuaJITでベンチマーク比較してみましょう。

function fibonacci(n)
    if n <= 2 then return 1 end
    return fibonacci(n - 2) + fibonacci(n - 1)
end

print(fibonacci(40))

function fibonacci(n)

if n <= 2 then return 1 end

return fibonacci(n - 2) + fibonacci(n - 1)

end

print(fibonacci(40))

フィボナッチ数列の40番目の数を求めるプログラムで比較してみます。このような処理だと上記したような実際のWebアプリケーションと違い、処理系のみの比較となります。

$ time /usr/local/bin/lua fibonacci.lua 
102334155

real    0m12.120s
user    0m12.117s
sys     0m0.000s
$ time /usr/local/luajit/bin/luajit fibonacci.lua 
102334155

real    0m1.121s
user    0m1.120s
sys     0m0.000s

$ time /usr/local/bin/lua fibonacci.lua

102334155

real 0m12.120s

user 0m12.117s

sys 0m0.000s

$ time /usr/local/luajit/bin/luajit fibonacci.lua

102334155

real 0m1.121s

user 0m1.120s

sys 0m0.000s

LuaJITが10倍の速度差で圧勝しました。

ngx.shared.DICTの利用

ngx.shared.DICTは、子プロセス間で共通に使える記憶領域です。

ngx.shared.persons:set("age", 19)
ngx.shared.persons:get("age")

1 2	ngx.shared.persons:set("age", 19) ngx.shared.persons:get("age")

のような形で使えます。memcachedと似たような利用方法になりますが、特筆すべきはその速度です。memcachedとngx.shared.DICTを、ApacheBencheを使った比較です。

memcachedでSET/GETを30回づつ行った場合：400〜500req/sec
同様のSET/GETをngx.shared.DICTで行った場合： 1200〜1400/sec
何もしないでレスポンスだけ返す場合： 1300〜1400req/sec

ngx.shared.DICTを使った場合は、何もしない場合と変わらない速度で動作しました。直接メモリーを読み書きするため非常に高速です。弊社では、memcachedのキャッシュとして利用しています（キャッシュのキャッシュ）

ngx.varやngx.req.XXXを何度も呼ばない

ngx.varやngx.reqは、参照するたびに、ngx.var.全XXX、ngx.req.全XXXを展開する仕様であるらしく、参照のコストが高いです。

local headers = ngx.req.get_headers()
local params  = ngx.req.get_uri_args()
local ngx_var = ngx.var

local headers = ngx.req.get_headers()

local params = ngx.req.get_uri_args()

local ngx_var = ngx.var

のように一度だけ参照して、以後はその変数(テーブル)を使いまわすようにします。

os.timeではなくngx.timeを使う

luaの標準ライブラリであるos.timeを使うと、使う度にシステムコールが発生してしまいますが、ngx.timeを使えばnginxがキャッシュした時間を返すため高速です。

今回はこの辺で。
ネタもなくなってきたので次回でLuaは最終回とさせて頂きます。

アドサーバ開発でのLuaの利用連載(1)

こんにちは。技術開発部で部長をしている伊良子と申します。

ユナイテッド株式会社(以下、弊社)では「高速・大量配信」を実現するための技術の一つとして、Lua言語やGo言語によるシステム開発を行っています。サーバのスケールアウト(スケールアップ)のみで大量配信を実現するのではなく、同じサーバスペックでより高速に動作するプログラムを書くことは、売上に占めるサーバインフラの費用が高額になりがちな広告プラットフォームにとって非常に重要なことだと考えています。当ブログでは、弊社のRTB広告プラットフォームであるAdStir及びBypassで、これらの言語がどのように使われているかについて連載していきます。今回はLuaを採用した経緯、理由について書くことで、Luaの紹介をさせて頂きます。

Lua言語を採用するまでの経緯

Lua言語そのものの紹介はWikipediaにお任せするとして、弊社でこの言語が利用されるに至った経緯から書かせて頂きます。弊社では、RTB広告を始める以前から、アドネットワーク、アフィリエイトネットワークなどの各種アドサーバを開発・運用していましたが、これら広告システムで培ってきた技術を元に、RTB広告プラットフォームであるAdStir及びBypassを開発し、2011年9月にリリース致しました。その当時の各種アドサーバは、nginxの拡張モジュールをC言語で開発したものでした。C言語で書かれたアドサーバプログラムは非常に高速に動作し、信頼性の高いものでしたので、長らく弊社でのアドサーバ開発のスタンダードとなっていました。しかし、

RTB広告プラットフォームに求められる機能が徐々に複雑化していくにつれ、C言語での追加開発は保守性が悪く、開発コストが増大してきたこと。
WEBプログラマーの集団であるエンジニアチームで、C言語は誰にでも扱える言語ではなかったこと。などの理由から代替の言語を考えるようになり、同じnginxの拡張モジュールであるngx_luaを試すに至りました。ngx_luaは、nginxのモジュールをLua言語で記述出来るようにする拡張モジュールです。そして、2012年後半以降のアドサーバ開発ではngx_luaをアドサーバ開発のメインに採用するようになったのですが、その採用理由を下記する形で、そのメリットをご紹介したいと思います。

Luaを採用したポイントその一「高速に動作する」

当時実際にプロダクトとして動いていたC言語で書かれたnginx拡張モジュールと、まったく同じ機能をLuaモジュールで実装したものでベンチマークしてみた所、70%ほどの性能比でした。単純に既存システムをリプレースした場合は、約1.5倍のインフラ費用がかかることになりますが、今後開発するプロダクトで採用する場合、新規開発コストやその後の保守コストも考えれば十分なパフォーマンスであると判断しました。 PHPで書いたプログラムと比較することで、どれくらいLua言語が高速かをご紹介します。

比較環境 SakuraVPS 2G(仮想3core) PHP: httpd-2.4 + php5_module + APC Lua: nginx-1.7.1 + LuaJIT + ngx_lua httpdはサーバスペックに合わせた設定を、nginxはworker数を4にだけ変更しました。処理内容: memcachedからJSONをgetし、配列の要素(文字列)を連結して表示する ApacheBenchでlocalhost宛に計測 ( ab -c 100 -n 10000 'http://127.0.0.1:8000/test.php' )

local memcached = require "resty.memcached"
local json      = require "cjson"

local memc, memd_err = memcached:new( {key_transform = { ngx.unescape_uri, ngx.escape_uri } } )
if not memc then
    ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
end
memc:set_timeout(40)
local memc_ok, memc_err = memc:connect('127.0.0.1', 11211)
if not memc_ok then
    ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
end

local memcached_key = 'TESTKEY'
local json_str, flags, memc_err = memc:get(memcached_key)
if not json_str or not type(json_str) == 'string' then
    ngx.exit(ngx.HTTP_NOT_FOUND)
end

local flag, responce_data = pcall(json.decode, json_str)
if not flag then
    ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)
end

if not responce_data or not responce_data.content then
    ngx.exit(ngx.HTTP_NOT_FOUND)
end

local content = ""
for i, val in ipairs(responce_data.content) do
   content = content .. val
end

ngx.print(content)
ngx.exit(ngx.HTTP_OK)

local memcached = require "resty.memcached"

local json = require "cjson"

local memc, memd_err = memcached:new( {key_transform = { ngx.unescape_uri, ngx.escape_uri } } )

if not memc then

ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)

end

memc:set_timeout(40)

local memc_ok, memc_err = memc:connect('127.0.0.1', 11211)

if not memc_ok then

ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)

end

local memcached_key = 'TESTKEY'

local json_str, flags, memc_err = memc:get(memcached_key)

if not json_str or not type(json_str) == 'string' then

ngx.exit(ngx.HTTP_NOT_FOUND)

end

local flag, responce_data = pcall(json.decode, json_str)

if not flag then

ngx.exit(ngx.HTTP_INTERNAL_SERVER_ERROR)

end

if not responce_data or not responce_data.content then

ngx.exit(ngx.HTTP_NOT_FOUND)

end

local content = ""

for i, val in ipairs(responce_data.content) do

content = content .. val

end

ngx.print(content)

ngx.exit(ngx.HTTP_OK)

PHP

<?php
$memcache = new Memcached();
$memcache->addServer("localhost", 11211);

$memcached_key = 'TESTKEY';
$json_str = $memcache->get($memcached_key);

$responce_data = json_decode($json_str);

$content = "";
  foreach ($responce_data->{'content'} as $value) {
    $content .= $value;
}
print $content;
?>

<?php

$memcache = new Memcached();

$memcache->addServer("localhost", 11211);

$memcached_key = 'TESTKEY';

$json_str = $memcache->get($memcached_key);

$responce_data = json_decode($json_str);

$content = "";

foreach ($responce_data->{'content'} as $value) {

$content .= $value;

}

print $content;

ベンチマーク結果
Lua Requests per second: 4127.80 [#/sec] (mean)
PHP Requests per second: 2430.98 [#/sec] (mean)

このような単純な処理でも、1.7倍ほどの速度差がつきました。勿論、行う処理や設定、動作方法によって速度差は変わってくると思います。 (基本的にPerl使いなので、PHPに詳しくないため、動作方法やチューニングによってもっとPHPは高速になると思います）

Luaを採用したポイントその二「C言語でブリッジライブラリを書ける」

Lua言語は、非常に軽量な言語(例えば、splitもない)であるため、複雑な処理を実装するのが難しい場合があり、仮に実装したとしても、その高速性が失われるかもしれないという問題があります。それを解決する手段として「C言語でブリッジライブラリを書く」ことが出来ます。弊社では元々C言語でアドサーバを書いていたため、既存のコードを流用出来るという点は大きなメリットでした。また、C言語で書いた部分は高速かつ省メモリで動作するため、元々高速なLuaをより高速に動作させることも可能となります（ボトルネックになっている処理をCライブラリ化するなど）例えば、弊社でブリッジライブラリを書いている部分としては

OpenSSLライブラリを利用した暗号/複合処理
libmemcachedやhiredisなどを利用したKVSの利用などが挙げられます。 (サンプル) libuuidライブラリを利用して、UUIDを生成するコード

#include <lua.h>
#include <lualib.h>
#include <lauxlib.h>

#include <uuid/uuid.h>

static int luuid(lua_State *L)
{
  uuid_t u;
  char buf[37];

  uuid_generate_random(u);
  uuid_unparse(u, buf);

  lua_pushstring(L, buf);
  return 1;
}

static const struct luaL_Reg luuidlib[] = {
  {"uuid", luuid},
  {NULL, NULL},
};

int luaopen_luuid(lua_State *L)
{
  luaL_openlib(L, "luuid", luuidlib, 0);
  return 1;
}

#include <lua.h>

#include <lualib.h>

#include <lauxlib.h>

#include <uuid/uuid.h>

static int luuid(lua_State *L)

{

uuid_t u;

char buf[37];

uuid_generate_random(u);

uuid_unparse(u, buf);

lua_pushstring(L, buf);

return 1;

}

static const struct luaL_Reg luuidlib[] = {

{"uuid", luuid},

{NULL, NULL},

};

int luaopen_luuid(lua_State *L)

{

luaL_openlib(L, "luuid", luuidlib, 0);

return 1;

}

Luaからの利用方法

local luuid  = require "luuid"

local uuid = luuid.uuid()
print(uuid)

local luuid = require "luuid"

local uuid = luuid.uuid()

print(uuid)

C言語が得意な人でもC言語のみであらゆる処理を実装するのは大変だと思いますが、改修が多い部分はLuaで開発し、要所要所をC言語で記述することで、保守性の高いプログラムを開発出来ると思います。次回は、nginxで動作させる方法と、Luaをより高速に利用するためのテクニックをご紹介する予定です。