APIを利用したCloudWatchの設定

こんにちは。配信/インフラチームの佐々木です。

弊社ではAWS上にシステムを構築していますが、前回お話しした通り監視ツールはCloudWatchを利用するケースが増えております。今回はAPIを利用してCloudWatchを設定する手順をご説明します。

Alarmの設定

CloudWatchの用途としてインスタンスの監視に使うケースは多いと思います。そこでインスタンスのAlarmを設定するスクリプトを作ってみました。aws-cliとbotoどちらかを利用するのですが、今回はaws-cliで実装しています。

#!/usr/bin/env python
import subprocess
import sys

instance_list = sys.argv[1:]

for i in instance_list:
    instance_id = subprocess.check_output("aws ec2 describe-instances --filters Name=tag-key,Values=Name,Name=tag-value,Values=" + i + " --query 'Reservations[].Instances[].InstanceId' --output text", shell=True)
    instance_id = instance_id.strip()
    put_metric_alarm = 'aws cloudwatch put-metric-alarm --alarm-name awsec2-' + i + '-Status --comparison-operator GreaterThanOrEqualToThreshold \
    --threshold 1 \
    --metric-name StatusCheckFailed \
    --evaluation-periods 1 \
    --period 60 \
    --namespace "AWS/EC2" \
    --statistic Maximum \
    --dimensions Name=InstanceId,Value=' + instance_id + ' \
    --alarm-actions XXXXXXXXXX'
    subprocess.check_output(put_metric_alarm , shell=True)

#!/usr/bin/env python

import subprocess

import sys

instance_list = sys.argv[1:]

for i in instance_list:

instance_id = subprocess.check_output("aws ec2 describe-instances --filters Name=tag-key,Values=Name,Name=tag-value,Values=" + i + " --query 'Reservations[].Instances[].InstanceId' --output text", shell=True)

instance_id = instance_id.strip()

put_metric_alarm = 'aws cloudwatch put-metric-alarm --alarm-name awsec2-' + i + '-Status --comparison-operator GreaterThanOrEqualToThreshold \

--threshold 1 \

--metric-name StatusCheckFailed \

--evaluation-periods 1 \

--period 60 \

--namespace "AWS/EC2" \

--statistic Maximum \

--dimensions Name=InstanceId,Value=' + instance_id + ' \

--alarm-actions XXXXXXXXXX'

subprocess.check_output(put_metric_alarm , shell=True)

このように引数にNameタグを指定して利用します。

$ python cloudwatch.py WEB-01 WEB-02 ...

1	$ python cloudwatch.py WEB-01 WEB-02 ...

インスタンスIDで指定する方がシンプルな実装になるのですが、インスタンスIDはコピーペーストする必要がありますし、Nameタグの方がワイルドカード指定も出来て便利です。またアラーム名にもNameタグが入っていた方わかりやすくて良いと思います。ただNameタグが一意である必要がありますのでその点は注意が必要です。

Dashboardの設定

CloudWatchのDashboardもAPIを利用して設定することが可能です。その手順を記載します。

APIの仕様は以下になるのですが、元になる設定が無いと難しいと思いますので、適当なDashboardから定義をコピーします。ここでは2台のインスタンスのCPU使用率とNetworkInのメトリックを登録しています。

https://docs.aws.amazon.com/AmazonCloudWatch/latest/APIReference/API_PutDashboard.html

[アクション]の[ダッシュボードの編集]を選択すると、Jsonの定義を取得できます。ここから直接変更することも可能です。

コピーしたJsonを元に編集します。インスタンスを1台増やしてサイズも倍にしてみました。

{
    "widgets": [
        {
            "type": "metric",
            "x": 0,
            "y": 0,
            "width": 12,
            "height": 12,
            "properties": {
                "view": "timeSeries",
                "stacked": false,
                "metrics": [
                    [ "AWS/EC2", "CPUUtilization", "InstanceId", "XXXXXXXXXX" ],
                    [ "...", "XXXXXXXXXX" ],
                    [ "...", "XXXXXXXXXX" ]
                ],
                "region": "ap-northeast-1",
                "period": 300
            }
        },
        {
            "type": "metric",
            "x": 12,
            "y": 0,
            "width": 12,
            "height": 12,
            "styles": "undefined",
            "properties": {
                "view": "timeSeries",
                "stacked": false,
                "region": "ap-northeast-1",
                "metrics": [
                    [ "AWS/EC2", "NetworkIn", "InstanceId", "XXXXXXXXXX" ],
                    [ "...", "XXXXXXXXXX" ],
                    [ "...", "XXXXXXXXXX" ]
                ]
            }
        }
    ]
}

{

"widgets": [

{

"type": "metric",

"x": 0,

"y": 0,

"width": 12,

"height": 12,

"properties": {

"view": "timeSeries",

"stacked": false,

"metrics": [

[ "AWS/EC2", "CPUUtilization", "InstanceId", "XXXXXXXXXX" ],

[ "...", "XXXXXXXXXX" ],

[ "...", "XXXXXXXXXX" ]

"region": "ap-northeast-1",

"period": 300

}

{

"type": "metric",

"x": 12,

"y": 0,

"width": 12,

"height": 12,

"styles": "undefined",

"properties": {

"view": "timeSeries",

"stacked": false,

"region": "ap-northeast-1",

"metrics": [

[ "AWS/EC2", "NetworkIn", "InstanceId", "XXXXXXXXXX" ],

[ "...", "XXXXXXXXXX" ],

[ "...", "XXXXXXXXXX" ]

]

}

]

}

作成したJsonファイルを以下のコマンドで適用します。

$ aws cloudwatch put-dashboard --dashboard-name TEST2 --dashboard-body file://dashbord.json

1	$ aws cloudwatch put-dashboard --dashboard-name TEST2 --dashboard-body file://dashbord.json

完成しました。

またこちらのページに、複数インスタンスを自動で登録するスクリプトが載っております。台数や取得するパラメータが多い場合などにはかなり有用かと思います。

https://aws.amazon.com/jp/blogs/news/new-api-cloudformation-support-for-amazon-cloudwatch-dashboards/

今回は以上になります。

監視ツールの比較

こんにちは。配信/インフラチームの佐々木です。

今回は監視用ミドルウェアについて比較（と個人的な所感）について記載したいと思います。私自身が実際に利用したことのあるツールが殆どなので、使用感なども踏まえてお話できればと思います。

Zabbix

ZabbixはラトビアのZabbix社で開発されているツールで、OSSの監視ツールではNagiosと並んでシェアが高い製品になります。Zabbixの特徴としては非常に多機能で、監視については大抵の事がZabbixで出来ますので、監視を一元管理したい場合には非常に有効なツールになります。その一方設定が複雑で、動作も他のツールと比較すると重いです。C言語/PHPで書かれており、設定ファイルがXML(GUIで設定することの方が多いと思いますが)、データストアにMysql/PostgreSQLが利用されていますが、大規模なインフラの監視の場合はRDBの知識が必要になってきます。

Nagios

NagiosはZabbixとよく比較されるツールですが、この二つは意外と差異が多い印象です。Nagiosはアラート機能に特化しているツールで、メトリクス可視化用のツール(munin等)と使い分けて利用する事が多いです。その分軽量かつ設定もシンプルで、バックエンドにデータストアの利用もありません。設定はテキストファイルに記述し、この点もGUIで管理するZabbixとは大きな違いがあります。

Munin

前述の通りNagios等と組み合わせて使われる事が多いツールですが、可視化用のツールなもののアラート通知の機能もちゃんと搭載されています。

Monit

Monitはアラート機能に特化しているツールで、導入と設定が簡単なため、カジュアルに最低限の監視だけしたい！という場合にお勧めできるツールです。一応WEBインターフェースも用意されているのですが、メトリクスを見るのにはあまり適していません。

Sensu

SensuはNagiosの問題点を解決する用途で開発されたツールで、クラウド環境に適した作りになっているのが大きな特徴です。Chef/Puppetを利用することで、エージェントをインストールするだけで監視を開始でき、オートスケール等に対応しやすいのが売りです。SensuはRubyで書かれていますが、データストアにRedis、エージェントとの通信部分にRabbitMQ、WEBインターフェースにGraphite等が使われていて、様々なミドルウェアを必要としますがそれをChef/Puppetで簡単にインストールする、というコンセプトの製品です。設定は全てJsonで行うので、この点もコードとして扱いやすいというメリットがあります。

PandraFMS

PandraFMSはスペインのArtica社で開発されているツールで、AWS等のクラウド/仮想環境への対応やスマートフォンでのWEBインターフェースを備えており、最近の環境に適した製品になっています。無償版と有償版の他にSaasがあるのが特徴で、こういった料金体系の製品はかなり珍しいかと思います。有償版があるだけに使いやすいUIを備え、設定もGUIで行います。開発言語はPerlなようです。

私は今回紹介する中でSensuとPandraFMSだけは利用経験が無いのですが、双方とも機会があれば使ってみたいと思う製品です。

Amazon CloudWatch

監視ツールというよりAWSの機能の一つなのですが、APIを利用することによりAWS以外のリソースも監視可能です。昔は使いにくかったのですが最近かなり改善されており、実際弊社でもアラート通知・メトリクス可視化でCloudWatchを利用するケースが増えています。料金がかかってしまうのが難点ではありますが、監視サーバ用にインスタンスを立てるよりも安く済むケースもありそうですし、AWSを利用している場合はぜひお勧めしたい機能です。

Makerel

はてな社で開発されているSaas型の監視ツールで、日本国内で開発されているだけに日本人向けのUIになっているのが特徴です。面白いのはサーバサイドがScala、エージェントがGo言語で書かれているのですが、エージェント部分はソースが公開されているという点です。Pluginのプルリクエストも受け付けているようで、開発に参加してみるのも面白いかもしれません。

今回は以上となります。

lua-resty-httpを利用したCookieの操作

こんにちは。配信/インフラチームの佐々木です。

弊社では広告配信にLuaを利用しておりますが、LuaでCookieを扱う際lua-resty-httpというモジュールを利用すると、Cookieが複数の場合などに非常に便利です。そこで今回はresty-httpを利用したCookieSyncの流れを、サンプルコードと共に説明したいと思います。一言にCookieSyncと言っても色々な方式がありますが、今回はSSP(united.jp)側からDSP(example.net)のCookieを自ドメインで保存する形式で記載します。

function fetch(_v)
    local target_url　= "http://example.net"
    local request_args = {"message": "abc"}
    local lua_resty_http = require('resty.http')
    local httpc = lua_resty_http.new()
    local request_cookies = {}

    for i in string.gmatch(ngx.var['http_cookie'], "[^%s]+") do
        if string.match(i, "_example_") then
            i = string.gsub(i, "%_example_", "")
                table.insert(request_cookies, i)
            end
        end
    end

    local res, err = httpc:request_uri(target_url, {
        method = "GET",
        query = request_args,
        timeout = 200,
        headers = 
            ["Cookie"] = table.concat(request_cookies, ' ')
        }
    })
(略)

function fetch(_v)

local target_url　= "http://example.net"

local request_args = {"message": "abc"}

local lua_resty_http = require('resty.http')

local httpc = lua_resty_http.new()

local request_cookies = {}

for i in string.gmatch(ngx.var['http_cookie'], "[^%s]+") do

if string.match(i, "_example_") then

i = string.gsub(i, "%_example_", "")

table.insert(request_cookies, i)

end

local res, err = httpc:request_uri(target_url, {

method = "GET",

query = request_args,

timeout = 200,

headers =

["Cookie"] = table.concat(request_cookies, ' ')

}

})

(略)

resty-httpでCookieを付与する処理は上記のようなコードになります。 "http://example.net"というURLにアクセスする際、クライアントが保持しているCookieから該当するプレフィックス_example_が付いている物だけ抽出し、プレフィックスを取り除いた上でヘッダに付与してリクエストします。プレフィックスを入れる処理は後述します。

    local client_cookies = {}
    local set_cookie = res.headers["Set-Cookie"]

    if type(set_cookie) == "string" then
        table.insert(client_cookies, set_cookie)
    elseif type(set_cookie) == "table" then
        client_cookies = set_cookie
    end

local client_cookies = {}

local set_cookie = res.headers["Set-Cookie"]

if type(set_cookie) == "string" then

table.insert(client_cookies, set_cookie)

elseif type(set_cookie) == "table" then

client_cookies = set_cookie

end

上記の処理では"http://example.net"から付与されたCookieをTableに保存しています。resty-httpの仕様として、SetされるCookieが単数の場合は文字列、複数の場合はTableとして扱われますので、両方のケースが想定される場合は上記のような処理になります。

    local put_cookies = {}
    for key, value in pairs(client_cookies) do
        example_cookie = ("_example_" ..value )
        example_cookie = string.gsub(example_cookie, "domain=.example.net", "domain=.united.jp")
        table.insert(put_cookies, example_cookie)
    end
    ngx.header['Set-Cookie'] = put_cookies

local put_cookies = {}

for key, value in pairs(client_cookies) do

example_cookie = ("_example_" ..value )

example_cookie = string.gsub(example_cookie, "domain=.example.net", "domain=.united.jp")

table.insert(put_cookies, example_cookie)

end

ngx.header['Set-Cookie'] = put_cookies

CookieSyncをする場合、どのドメインのCookieなのか区別する必要がありますので、プレフィックスに_example_を付与した上で、ドメインを書き換えます。こうして書き換えたCookieを、クライアントに保存します。再度クライアントがアクセスした際は、一番上の処理に戻り、保存されたCookieを付与してリクエストをします。

今回はCookieの処理のみになりますので非常に短いコードになりましたが、lua-resty-httpは非常にシンプルで扱いやすく、LuaでAPIを実装する際には非常に有効なモジュールとなっております。

今回は以上となります。

Windows Mixed RealityのadstirSDK研究開発について

MRサービス研究開発室の佐々木(竜)と申します。 MRサービス研究開発の一環としてHoloLensのアプリにおいて広告表示を行うSDKを開発しましたのでその紹介をさせていただきます。

前提知識

Windows Mixed Realityとは？

MRは、現在一般的な仮想現実技術のAR、VRを含んだ技術です。現実空間に仮想的なものを表示する部分から、周りのもの全てを仮想的に表示するところまでを技術範囲としています。

HoloLensとは？

Windows Mixed Realityに準じたAR端末で、端末内にPCが内蔵されており単体で動作します。視線方向の環境データを認識して現実物体に対してオクルージョンなどの処理をしながら表示することができます。

MixedRealityToolKit-Unityとは？

HoloLensのアプリケーションを作成するときに必要となる、HoloLensデバイスの入力などを容易に制御できるようにするスクリプト群です。これを用いることにより、Unity上で空間認識などを扱うアプリケーションを容易に開発することができます。

実際の動作動画

SDK設計

動作環境設定

開発環境 Unity 5.6.2f1
Visual Studio 2015

device
HoloLens Developer Edition
Windows10 Microsoft

Plugin
MixedRealityToolKit#Unity 5.6.2f1

Scene 今回はテストのため、広告を表示するのに最低限のオブジェクトのみを配置しています

機能要件

UnityのScene内に広告を表示します。
広告は実際にadstir経由で入札を行い、案件をとってきます。
HoloLens側の空間認識を利用し、実際に壁にポスターのように表示します。
人のタップしたジェスチャーを認識して、Edgeを起動LPを表示します。

動作フロー

①空間を認識する

MixedRealityToolKit内のSpatialMapping.prefabをScene内に配置することで、HoloLensで認識した空間データをもとに、空間をメッシュ化して空間に沿ったメッシュとメッシュコライダーを配置します。作成した空間が、アプリケーションの動作上十分な数に達したとき空間のメッシュへの変換を停止します。

void Start()
 {
      // Callbackとして、空間認識が終わったタイミングをハンドリングする
      SurfaceMeshesToPlanes.Instance.MakePlanesComplete += SurfaceMeshesToPlanes_MakePlanesComplete;
 }

void Update()
{
    if (!meshesProcessed)
    {
        // 設定した空間の認識時間が過ぎたかどうか判定
        if ((Time.time - SpatialMappingManager.Instance.StartTime) > scanTime)
        {  
            // 空間認識処理が走っているか
            if (SpatialMappingManager.Instance.IsObserverRunning())
            {
                // 空間認識処理を止める
                SpatialMappingManager.Instance.StopObserver();
            }
            // 認識したデータをもとにメッシュを作成する
            CreatePlanes();

            meshesProcessed = true;
        }
    }
}

void Start()

{

// Callbackとして、空間認識が終わったタイミングをハンドリングする

SurfaceMeshesToPlanes.Instance.MakePlanesComplete += SurfaceMeshesToPlanes_MakePlanesComplete;

}

void Update()

{

if (!meshesProcessed)

{

// 設定した空間の認識時間が過ぎたかどうか判定

if ((Time.time - SpatialMappingManager.Instance.StartTime) > scanTime)

{

// 空間認識処理が走っているか

if (SpatialMappingManager.Instance.IsObserverRunning())

{

// 空間認識処理を止める

SpatialMappingManager.Instance.StopObserver();

}

// 認識したデータをもとにメッシュを作成する

CreatePlanes();

meshesProcessed = true;

}

上記のようにコルーチンのStart処理で、マッピングの終了をハンドリングします。そして、あらかじめ設定した空間認識の時間を過ぎたときMapping処理を止めて、空間メッシュを作成します。空間認識の処理は重い処理となっているので、アプリケーションの要件に合わせて、空間スキャンの時間を設定します。

参照 : HoloToolkitのSpatialMappingを理解する

②広告データを取得する

①の動作と同時に広告リクエストを非同期で飛ばします。

OnEnable()
{
       // 広告の読み込みが終わったことを受け取るコールバックを登録
       HttpCommon.OnLoadAdDataJson += OnSetAdImage;
       // 広告リクエストする
       ShowAd()
}

 private void ShowAd()
 {
        AdstirMRAdNative ad = new AdstirMRAdNative("メディアID", 枠ID  );
        ad.AdLoadStart();
 }

OnEnable()

{

// 広告の読み込みが終わったことを受け取るコールバックを登録

HttpCommon.OnLoadAdDataJson += OnSetAdImage;

// 広告リクエストする

ShowAd()

}

private void ShowAd()

{

AdstirMRAdNative ad = new AdstirMRAdNative("メディアID", 枠ID );

ad.AdLoadStart();

}

広告をリクエストする前に、処理が終わったイベントを登録します。OnSetAdImage内では広告が読み込まれたフラグを立てる処理と、タップされたときのイベントをセットします。Unityの他のGameObjectから広告の読み込み終了を参照しやするするために、フラグとしてイベントの終了をUnity側で持っておきます。

Managed Pluginを作成するとき

UnityEditor側からDebugで動作させるときと、実際にHoloLensに配置して動作させるときでアプリケーションのrun timeが変わり、参照できるライブラリが変わってきます。今回のSDKでは、実際にUnityのSceneに配置する前提でした。なので、UnityEditor側からある程度動作を再現したかったので下記のようなプロジェクト構成をしました。

Pluginの実態はSharedの中に持っていて、UWP、UnityのフォルダはSharedファイルからのシンボリックリンクを張っています。また、コード内ではコンパイルを切り替えるマクロを使って、動作環境ごとのコードを書いています。

public sealed partial class AdstirMRAdNative
{
    private readonly String mediaId;
    private readonly int spotNo;

    public AdstirMRAdNative(String mediaId, int spotNo, Build_Types mode = Build_Types.RELEASE)
    {
        this.mediaId = mediaId;
        this.spotNo = spotNo;
        ConfigLoader.SetConfigSettings(mode);
    }

    public void AdLoadStart()
    {
#if NETFX_CORE
        UWPAdStirNativeAd Ad = new UWPAdStirNativeAd();
        Ad.getAd(mediaId, spotNo);
#else
        UnityAdStirNativeAd Ad = new UnityAdStirNativeAd();
        Ad.getAd(mediaId, spotNo);
#endif
    }
}

public sealed partial class AdstirMRAdNative

{

private readonly String mediaId;

private readonly int spotNo;

public AdstirMRAdNative(String mediaId, int spotNo, Build_Types mode = Build_Types.RELEASE)

{

this.mediaId = mediaId;

this.spotNo = spotNo;

ConfigLoader.SetConfigSettings(mode);

}

public void AdLoadStart()

{

#if NETFX_CORE

UWPAdStirNativeAd Ad = new UWPAdStirNativeAd();

Ad.getAd(mediaId, spotNo);

#else

UnityAdStirNativeAd Ad = new UnityAdStirNativeAd();

Ad.getAd(mediaId, spotNo);

#endif

}

上記のように、NETFX_CORE条件内でUWP側のアプリケーションの挙動、もう一方でUnity側の挙動を記述します。参照 : HoloLens用 Managed Pluginの作り方

③ 広告を配置する

広告のオブジェクトの読み込みが終わり、空間のデータも蓄積されたとき、広告を壁に埋め込みます。

GameObject surface = hitInfo.transform.gameObject;
SurfacePlane plane = surface.GetComponent&lt;SurfacePlane>();
// 視線が壁のオブジェクトと一致したとき
if (plane != null && plane.PlaneType == PlaneTypes.Wall)
{
    Vector3 position = Camera.main.transform.position + Camera.main.transform.forward * 1.25f;
    Quaternion rotation = Quaternion.identity;
    position = surface.transform.position + (plane.PlaneThickness * plane.SurfaceNormal);

    // 広告オブジェクトを壁表示する位置を取得する
    position = AdjustPositionWithSpatialMap(position, plane.SurfaceNormal);
    rotation = Quaternion.LookRotation(surface.transform.forward, Vector3.up);

　 // 広告オブジェクトの生成
    GameObject spaceObject = Instantiate(spaceObjectPrefabs, position, rotation) as GameObject;
    spaceObject.transform.parent = gameObject.transform;
}

GameObject surface = hitInfo.transform.gameObject;

SurfacePlane plane = surface.GetComponent<SurfacePlane>();

// 視線が壁のオブジェクトと一致したとき

if (plane != null && plane.PlaneType == PlaneTypes.Wall)

{

Vector3 position = Camera.main.transform.position + Camera.main.transform.forward * 1.25f;

Quaternion rotation = Quaternion.identity;

position = surface.transform.position + (plane.PlaneThickness * plane.SurfaceNormal);

// 広告オブジェクトを壁表示する位置を取得する

position = AdjustPositionWithSpatialMap(position, plane.SurfaceNormal);

rotation = Quaternion.LookRotation(surface.transform.forward, Vector3.up);

　 // 広告オブジェクトの生成

GameObject spaceObject = Instantiate(spaceObjectPrefabs, position, rotation) as GameObject;

spaceObject.transform.parent = gameObject.transform;

}

ここでは、広告オブジェクトを配置する壁オブジェクトを決定します。視線方向を取得して、壁のオブジェクトと視線がぶつかる位置に広告を配置します。壁のオブジェクトが広告を配置することができない幅の壁のオブジェクトが、選択された場合は、壁オブジェクトの再配置を行います。

④LPを表示する

OnEable()
{
    InteractionManager.OnTapped += ReceivedTapped;
}

private void ReceivedTapped(GameObject go, InteractionManager.InteractionEventArgs e)
{
    if (CanvasObjCollider(go))
    {
        if (launchedDialog)
            return;
        var buttons = SimpleDialog.ButtonTypeEnum.Yes | SimpleDialog.ButtonTypeEnum.No;
        var title = "alert";
        var message = "Open the link in Edge.Is it OK ?";
        SimpleDialog simpleDialog = SimpleDialog.Open(dialogObj, buttons, title, message);
        simpleDialog.OnClosed += OnClosed;
        StartCoroutine(LaunchDialog(simpleDialog));
        launchedDialog = true;
    }
}

OnEable()

{

InteractionManager.OnTapped += ReceivedTapped;

}

private void ReceivedTapped(GameObject go, InteractionManager.InteractionEventArgs e)

{

if (CanvasObjCollider(go))

{

if (launchedDialog)

return;

var buttons = SimpleDialog.ButtonTypeEnum.Yes | SimpleDialog.ButtonTypeEnum.No;

var title = "alert";

var message = "Open the link in Edge.Is it OK ?";

SimpleDialog simpleDialog = SimpleDialog.Open(dialogObj, buttons, title, message);

simpleDialog.OnClosed += OnClosed;

StartCoroutine(LaunchDialog(simpleDialog));

launchedDialog = true;

}

Sceneに配置した。IntractionManagerにTapしたイベントを登録します。IntaractionManagerは人がGestureなどをしたときにイベントをフックしてくれていて、このコンポーネントを使うことでGestureなどの処理を容易にしてくれています。 Tapをされたオブジェクトが、実際の広告のオブジェクトだった時に、ダイアログを表示して遷移するかを問い合わせます。遷移するが選ばれたとき、アプリケーションをサスペンド状態にして、Edgeを呼び出します。

参照 : MixedRealityToolkit-UnityのInputManagerを紐解く～Gesture編～

以上が一通りの動作となります。

まとめ

壁の認識、ジェスチャーからのインプットなどを利用したHoloLens用adstirMRSDKを作ってきました。現状はまだ、動作環境が制限されるなど様々な課題が多く実用的なSDKとはなっていませんが、ARKit/ARCoreなどのモバイルのARフレームワークの発展とともにコンテンツが成熟してきたとき、また、広告を利用していただける機会が生まれたとき、より良いユーザー体験ができるSDKを提供していきたいと思っています。

ユナイテッドでは、エンジニアを絶賛募集しています！このように最新技術にトライできる環境で一緒に働きませんか？

乱数の生成について

こんにちは。データ解析部の西岡(敏)と申します。広告配信の効果分析とアルゴリズム実装を担当しております。

今回は、システムで利用する乱数の生成について書きたいと思います。

乱数について

過去、コンピュータの無い時代には、サイコロを振ってその数字を記録したり、コインを投げてその裏表を調べたりすることで乱数を得ることができました。ただし、こういった乱数は大量のデータを必要とする実験では不便であるため、現在はそのような実験を行う際にはコンピュータを利用して擬似的に乱数を生成しています。

こういった形でコンピュータを用いて生成する乱数のことを、前述のサイコロの乱数などとは区別し、算術乱数や擬似乱数と呼びます。

プログラムで使われる乱数

前述のように、疑似乱数はコンピュータから生成を行うため、乱数が本来持っているべき予測不可能性を持ちません。ですが、出来る限りランダムであることが担保され、非常に長い周期を持てば、シミュレーションなどに利用するのに差し支えはないということになります。

疑似乱数は主にコンピュータ上で生成・使用され、そのために生成される乱数の質や周期の長さと同等に、コンピュータ上で生成される速度、プログラミングの簡素さ、使用する記憶領域の大きさが乱数生成器の評価のポイントとなっています。

以下では、システムで広く使われている代表的なアルゴリズムである、線形合同法と、メルセンヌ・ツイスタの説明を行っていきます。

線形合同法

概要

1948年頃にレーマーが提案した方法で、今日でも広く使われている手法になります。 BASICやPascal, UNIXなどでこちらの方法が乱数生成に使われています。

基本的な算出方法は、適当なX(0), 乗数a, 加数b, 法(modulus)Mを指定し、

X(n) = (a * X(n-1) + b) % M として、計算を行うものになります。

このとき、 bがMと互いに素 a-1がMを割り切るすべての素数の倍数 Mが4の倍数であれば

a-1も4の倍数

という条件が、X(n)の周期が最大値Mとなる必要十分条件になります。

pythonによるプログラミング

実際にpythonで線形合同法を用いて乱数の生成を行ってみます。

# 線形合同法

# Xの初期値, 定数a, b, Mを決めます。
# 定数a, b, Mに関してはNumerical Recipesという書籍で推奨されている値を入力しました。

list_x = [2497]
const_a = 1664525
const_b = 1013904223
const_m = 2 ** 32

for i in range(10):
    list_x.append((const_a * list_x[i] + const_b) % const_m)

print(list_x)

# 線形合同法

# Xの初期値, 定数a, b, Mを決めます。

# 定数a, b, Mに関してはNumerical Recipesという書籍で推奨されている値を入力しました。

list_x = [2497]

const_a = 1664525

const_b = 1013904223

const_m = 2 ** 32

for i in range(10):

list_x.append((const_a * list_x[i] + const_b) % const_m)

print(list_x)

Out[]:

[2497,
 875255852,
 3289380251,
 2302488126,
 419758213,
 2363619360,
 2816822527,
 2762503762,
 1176740233,
 3304832340,
 131795107]

Out[]:

[2497,

875255852,

3289380251,

2302488126,

419758213,

2363619360,

2816822527,

2762503762,

1176740233,

3304832340,

131795107]

線形合同法の問題点

上記のように、簡単に生成ができる一方で、この手法には周期の限界が2^32にあること、下位ビットには周期的な偏りがあること(上記の例でも、下一桁が奇数→偶数の繰り返しになっている) などの問題点があります。そのため、下位ビット部分を切り捨てて実装を行っている場合もあるそうです。

メルセンヌ・ツイスタ

概要

続いては、今日様々なシステムで利用されているメルセンヌ・ツイスタに関して説明を行います。メルセンヌ・ツイスタはM系列を松本眞氏と西村拓士氏が発展させたものであり、疑似乱数生成器として現在最も高い評価を得ています。

メルセンヌ・ツイスタの説明

メルセンヌ・ツイスタの説明に当たって、まずM系列の説明を行います。

M系列

M系列とは、Xn = Xn-p + Xn-qで表現できる1ビットの数列になります。

例えば、 X0 = 1, X1 = 0, X2 = 0, p = 3, q = 1 としたとき、

X3 = X0 + X2 = 1 + 0 = 1
X4 = X1 + X3 = 0 + 1 = 1
X5 = X2 + X4 = 0 + 1 = 1
X6 = X3 + X5 = 1 + 1 = 0

という計算によって算出できます。

TGFSR

M系列を発展させたものに、 Twisted General Feedback Shift Register(TGFSR)があり、こちらは

Xn+p = Xn+q + Xn *A (p>q>0)

を用いて表現することができます。ここで、Aはω✕ωの行列、Xはω次元の行ベクトルになります。また、このときωは32, 64など、生成する乱数のビット数となります。

メルセンヌ・ツイスタ

さらにTGFSRを

Xn+p = Xn+q + Xn+1 *B + Xn *C (p>q>0)

として改良したものがメルセンヌ・ツイスタになります。

特に、こちらのこちらの最大周期が2^19937 - 1のときにMT19937と呼ばれ、通常のメルセンヌ・ツイスタはこのMT19937を指します。

具体的な計算方法としては、 init_genrand関数とgenrand_int関数を準備し、 init_genrand関数を実行した後に、生成する乱数分genrand_int関数を実行するという流れになります。それぞれの関数は以下の形式となります。

init_genrand 関数
- 0 番地に種を代入する。
- i 番地の値を得るために、i-1 番地の値を使用する。シフト、EXOR、乗算、加算の順に演算を行う。
- 623 番地まで計算を繰り返し、値を代入する。
genrand_int 関数 a. (624n+1)回目の場合(n=0,1,2,…)
- 0 番地から 227 番地まで AND、OR、EXOR 演算を行う。
- 228 番地から 623 番地まで、別の数値を使って AND、OR、EXOR 演算を行う。
- 再び別の数値を使って、AND、OR、EXOR 演算を行い、y に代入する。 b. 毎回共通の部分
- y にシフト、AND、EXOR 演算を行い、生成された乱数を返す。

pythonによるプログラミング

実際にpythonで線形合同法を用いて乱数の生成を行ってみます。

# MT19937の記述

w = 32
n = 624
m = 397
r = 31
u = 11
s = 7
t = 15
l = 18
a = 0x9908B0DF
b = 0x9D2C5680
c = 0xEFC60000

# print(a, b, c)

i = 0
x = []

mask_u = 0
mask_l = 0

for i in range(w):
    mask_u = (mask_u &lt;&lt; 1) + (i &lt; w - r)
    mask_l = (mask_l &lt;&lt; 1) + (i >= w - r)

# print(mask_u)
# print(mask_l)

def init_genrand(seed):
    x = [seed & 0xFFFFFFFF]
    for j in range(1,n):
        x.append((1812433253 * (x[j-1] ^ (x[j-1] >> 30)) + j) & 0xFFFFFFFF)
    # print(x)
    return x


x = init_genrand(20150919)

# 乱数の生成
def genrand_int(x, i):
    # step1
    z = (x[i] & mask_u | x[(i+1) % n] & mask_l)
    # step2
    if (z & 1) == 0:
        d = 0
    else:
        d = a
    x[i] = x[(i+m) % n] ^ (z >> 1) ^ d
    # step3
    y = x[i]

    y = y ^ (y >> u)
    y = y ^ ((y &lt;&lt; s) & b)
    y = y ^ ((y &lt;&lt; t) & c)
    y = y ^ (y >> l)

    # 乱数を返す

    return y

i = 0
for j in range(1, 11):
    print(genrand_int(x, i))
    # カウンタをインクリメント
    i = (i + 1)%n

# MT19937の記述

w = 32

n = 624

m = 397

r = 31

u = 11

s = 7

t = 15

l = 18

a = 0x9908B0DF

b = 0x9D2C5680

c = 0xEFC60000

# print(a, b, c)

i = 0

x = []

mask_u = 0

mask_l = 0

for i in range(w):

mask_u = (mask_u << 1) + (i < w - r)

mask_l = (mask_l << 1) + (i >= w - r)

# print(mask_u)

# print(mask_l)

def init_genrand(seed):

x = [seed & 0xFFFFFFFF]

for j in range(1,n):

x.append((1812433253 * (x[j-1] ^ (x[j-1] >> 30)) + j) & 0xFFFFFFFF)

# print(x)

return x

x = init_genrand(20150919)

# 乱数の生成

def genrand_int(x, i):

# step1

z = (x[i] & mask_u | x[(i+1) % n] & mask_l)

# step2

if (z & 1) == 0:

d = 0

else:

d = a

x[i] = x[(i+m) % n] ^ (z >> 1) ^ d

# step3

y = x[i]

y = y ^ (y >> u)

y = y ^ ((y << s) & b)

y = y ^ ((y << t) & c)

y = y ^ (y >> l)

# 乱数を返す

return y

i = 0

for j in range(1, 11):

print(genrand_int(x, i))

# カウンタをインクリメント

i = (i + 1)%n

Out[]:

909111202

1775643220

3451004665

2605250323

792343277

400246621

276307393

1249125328

2330296989

749880315

以上のような形で、乱数の生成を行うことができました。このメルセンヌ・ツイスタに関しては、線形合同法であったような、周期が短かったり、値によっては下一桁が偶数, 奇数と交互に出現するといった問題点が発生せず、非常に優れた擬似乱数生成器として、様々なプログラミング言語に幅広く利用されています。

まとめ

このように乱数と言っても複数の種類があり、それぞれの乱数には特徴があります。現在は、高い精度の検証をする場合などは、線形合同法で作成されたよりもメルセンヌ・ツイスタの方が良いと言われています。もし何かしらの実験を行っているときなどに、こういった乱数に着目すると、意外な解決策が見いだせるかもしれません。

参考

http://www.math.sci.hiroshima-u.ac.jp/~m-mat/TEACH/ichimura-sho-koen.pdf http://www.soi.wide.ad.jp/class/20010000/slides/03/sfc2002.pdf http://random.ism.ac.jp/info01/random_number_generation/node6.html http://www.utp.or.jp/book/b300859.html http://www001.upp.so-net.ne.jp/isaku/rand.html https://narusejun.com/archives/5/

Amazon Elasticsearch ServiceでKibanaを利用する

みなさんこんにちは。配信/インフラチームの佐々木と申します。adstirの配信サーバの開発とインフラを担当しております。

今回はAmazon Elasticsearch ServiceとKibanaを利用したデータの可視化について書きたいと思います。

ElasticsearchとKibanaについて

両方とも有名なミドルウェアなので詳細な説明は省きますが、端的に言うとElasticsearchは全文検索エンジンでKibanaがそれを可視化するためのWEB-GUI（中身はNode.js）になります。

ポイントとしてはElasticsearchもKibanaもオープンソースで公開されているのですが、両方ともAWSのマネージドサービスとしても提供されているため、構築と運用の負担が非常に軽いという点があります。（もちろんEC2を利用する事もできますし、AWS以外の環境でも利用は可能です。）開発元が同一なため親和性が高く、今後はバージョンも統一されていくようです（現在は5.x） Kibanaは以前のバージョンではダッシュボードは黒をベースとしたUIでしたが、このバージョンは非常にカラフルなデザインになっております。

ちなみに余談ですが正しくは"ElasticSearch"ではなく"Elasticsearch"となります。ですがちょっと長いのでこのブログではESと略させていただきます。

データのフロー

ESはWEB-APIとして動作するのですが、Fluentdでプラグインが用意されているためそれを利用するケースが多いです。直接POSTしても良いのですが、Fluentdを利用した方が簡単かつフレキシブルに使えます。流れとしては

Fluentd -> ES -> Kibana

となりますが、データをS3に保存する場合は以下のような流れが良さそうです。

Fluentd -> S3 -> Lambda -> ES -> Kibana

今回は前者の手順を記載いたします。

構築手順

1. AmazonESとKibanaのセットアップ

セットアップ自体は非常に簡単で、ものの数分で終わります。（作成の待ち時間がそれなりにありますが）AWSさまさまと言ったところです。

ESのダッシュボードでCreate a new domainをクリックします。

Domain名とバージョンを指定しNextをクリックします。

インスタンス数やスペックなどを指定しNextをクリックします。

最後にアクセスポリシーを設定し、Confirm and createをクリックします。

10分程度待てば作成が完了します。同時にKibanaも使える状態になっています。

2. Fluentd設定

下準備としてはFluentdとfluent-plugin-aws-elasticsearch-serviceをインストールしている必要があります。送信先にESのURLを指定します。

  ### 略
  type "aws-elasticsearch-service"
  ### 略
  <endpoint> 
    url #(設定したESのURL) 
    region #(ESが存在するリージョン) 
  </endpoint>

### 略

type "aws-elasticsearch-service"

### 略

url #(設定したESのURL)

region #(ESが存在するリージョン)

</endpoint>

3. ES設定

簡単な使い方をするのであれば設定は特に必要ありません。データがインサートされればそのまま使えるようになります。

4.Kibana設定

まずIndexの設定をする必要があります。ManagementでIndex Patternsをクリックします。

Add Newをクリックします。

作成したインデックスのパターンを入力し、Createをクリックします。

登録したインデックスのデータは、Discoverから確認できます。この例ではscore_Xというランダム数値のデータを使用しています。

次にインデックスからグラフを作成します。今回は折れ線グラフを作成しますので、VisualizeでLine chartを選択します。

対象のインデックスを選択します。

Y-Axisに対象のデータを登録し、X-AxisでDate Histogramを選択すれば時系列の折れ線グラフが出来ます。設定したらSaveをクリックします。

あとはDashboardで作成したグラフを貼り付けます。KibanaはDashboardが自由にカスタマイズ出来、例えばWEBサーバのレイテンシを確認しながら生のログを見るといった使い方が出来ます。

以上が構築手順になります。

最後に

弊社ではアドテクエンジニアを募集しております。広告技術に興味がある方・経験がある方のご応募をお待ちしております。また広告以外の部署やエンジニア以外の職種でも募集しておりますので、興味がある方はぜひご応募くだされば幸いです。

弊社コーポレートサイト
http://united.jp/recruit/information/

Wantedly
https://www.wantedly.com/companies/united/projects/

リフレクションでChrome Custom Tabsを起動する

AdStir開発チームの吉田と申します。 SDK・JS開発をメインに担当しています。本日はJavaのリフレクションで、AndroidのChrome Custom Tabsを呼び出してみたいと思います。

リフレクションとは

リフレクションは動的に、クラスやメソッド、フィールドにアクセスできる機能です。

ライブラリが同梱されている場合のみ実行する
プライベートなメソッドやフィールドにもアクセスできる

など柔軟な実装ができるようになります。

Chrome Custom Tabs

これまで、アプリからWebページを開く際には、暗黙的Intentを送信してChromeなどのブラウザを起動する方法が一般的でした。 Chrome Custom Tabsを使えば

ページ表示が高速化される
ブラウザの見た目をカスタムでき、自分のアプリの一部のような表現ができる

といったメリットを享受することができます。

AdStirでは、Chrome Custom Tabsを導入するかしないかを、パブリッシャー様に選択いただけるようにするため、この機能を使用しています。 Chrome Custom Tabsが導入されていれば使用する、されていなければ通常のブラウザを起動する。と言った具合です。

Chrome Custom Tabsの通常の使い方は以下となります。

CustomTabsIntent tabsIntent = new CustomTabsIntent.Builder().build();
tabsIntent.launchUrl(this, Uri.parse("https://www.google.co.jp"));

1 2	CustomTabsIntent tabsIntent = new CustomTabsIntent.Builder().build(); tabsIntent.launchUrl(this, Uri.parse("https://www.google.co.jp"));

dependencies {
  ...
  compile 'com.android.support:customtabs:25.2.0'
}

dependencies {

...

compile 'com.android.support:customtabs:25.2.0'

}

とても簡単ですが、customtabsが入っていないとビルドすら通りません。そこで、このコードをリフレクションを使って書き直してみます。

// パッケージ名を指定して、クラスオブジェクトを取得します。
// インナークラスにアクセスするためには$を使います。
Class clazz = Class.forName("android.support.customtabs.CustomTabsIntent$Builder");

// 引数無しのコンストラクタを取得します。 
Constructor constructor = clazz.getConstructor(new Class[]{});

// 引数を指定しないでインスタンスを生成します。 
Object o = constructor.newInstance(new Object[]{});

// oオブジェクトからClassクラスを取得して、引数無しのbuildメソッドを取得します。 
Method build = o.getClass().getMethod("build");

// メソッドを実行します。oオブジェクトについて実行するためoを第一引数に与えます。 
Object tabsIntent = build.invoke(o);

// tabsIntentオブジェクトからClassクラスを取得し、
// 第一引数がActivityオブジェクト、第二引数がUriオブジェクトのlaunchUrlメソッドを取得します。 
Method launchUrl = tabsIntent.getClass().getMethod("launchUrl", new Class[]{Context.class, Uri.class});

// メソッドを実行します。tabsIntentオブジェクトについて実行するため、tabsIntentを第一引数に与えます。
// 第二引数にlaunchUrlに与える第一引数、第三引数に第二引数を与えます。 
launchUrl.invoke(tabsIntent, this, Uri.parse("http://google.co.jp/"));

// パッケージ名を指定して、クラスオブジェクトを取得します。

// インナークラスにアクセスするためには$を使います。

Class clazz = Class.forName("android.support.customtabs.CustomTabsIntent$Builder");

// 引数無しのコンストラクタを取得します。

Constructor constructor = clazz.getConstructor(new Class[]{});

// 引数を指定しないでインスタンスを生成します。

Object o = constructor.newInstance(new Object[]{});

// oオブジェクトからClassクラスを取得して、引数無しのbuildメソッドを取得します。

Method build = o.getClass().getMethod("build");

// メソッドを実行します。oオブジェクトについて実行するためoを第一引数に与えます。

Object tabsIntent = build.invoke(o);

// tabsIntentオブジェクトからClassクラスを取得し、

// 第一引数がActivityオブジェクト、第二引数がUriオブジェクトのlaunchUrlメソッドを取得します。

Method launchUrl = tabsIntent.getClass().getMethod("launchUrl", new Class[]{Context.class, Uri.class});

// メソッドを実行します。tabsIntentオブジェクトについて実行するため、tabsIntentを第一引数に与えます。

// 第二引数にlaunchUrlに与える第一引数、第三引数に第二引数を与えます。

launchUrl.invoke(tabsIntent, this, Uri.parse("http://google.co.jp/"));

以上となります。本当は例外処理や、CustomTabsIntentクラスが存在するかのチェックなども必要になりますが、概ねこのようにすることで、リフレクションでChrome Custom Tabsを起動することができます。

リフレクションには

メソッドの呼び出しが遅い
カプセル化を壊す
コードが冗長になる

などのデメリットも存在しますが、AdStirでは「モジュールが入っているときだけ利用できる」というリフレクションのメリットに注目し、今回のCustom Tabsや、メディエーション機能などを実現しています。

本日はこれまで。どうもありがとうございました。

JARファイルからAARファイルとEclipseライブラリプロジェクトを作成する方法

こんにちは。AdStir開発チームの森田と申します。
弊社SSP『AdStir』のSDKを開発しております。

はじめに

　AdStirのSDKでは他社のアドネットワークのSDKをバンドルして配布することがあります。弊社ではその際にメディアさんの利便性を向上するための工夫をしています。
　Android用のSDKは、ライブラリ(JARファイル)、リソースファイル、AndroidManifestがバラバラに配布されることがあります。その場合、ユーザがJARファイルとリソースファイルをプロジェクトに組み込み、AndroidManifestをマージする必要があります。 AARファイルやEclipseライブラリプロジェクトを使用することでこれらの手間を省くことができます。そのため一部のSDKをAARファイルやEclipseライブラリプロジェクトにパッケージ化して配布しています。
　今回はJARファイルからAARファイルとEclipseライブラリプロジェクトを作成する手順を紹介します。

JARファイルとは？

Java Archiveの略称で、Javaアプリケーション(Android)のライブラリの配布に使用することがあります。

AARファイルとは？

Android Archiveの略称で、Android Studioに使われるアーカイブです。ライブラリに加えてリソースファイル・AndroidManifestを含めることができます。

Eclipseライブラリプロジェクトとは？

ライブラリとして使用できるEclipse用のプロジェクトです。メインプロジェクトのライブラリに追加することで、ライブラリとリソースを追加できます。

AAR作成方法

Android Studioを使用してJARファイル・リソースファイル・AndroidManifestからAARファイルを作成します。

1. モジュールの作成

File -> New -> New Module -> Android Libraryでモジュールを作成します。

2. ファイルの追加

作成したモジュールにJARファイル・リソースファイル・AndroidManifestを追加します。 libsフォルダにjarファイルをresフォルダにリソースファイルを追加し、AndroidManifestを記載します。

3. AARファイルの作成

作成したモジュールを選択して、Build -> Make Module 'モジュール名'でAARを作成します。

’モジュール名’ -> build -> outputs -> aar フォルダに AARファイルが生成されています。

debug/releaseの両方のaarが必要な場合、appのbuild.gradleのdependenciesに下記を追加してMake Projectをします。

dependencies {
    releaseCompile project(path: ':mylibrary')
    debugCompile project(path: ':mylibrary')
}

dependencies {

releaseCompile project(path: ':mylibrary')

debugCompile project(path: ':mylibrary')

}

Eclipseライブラリプロジェクト作成方法

Eclipseを使用してJARファイル・リソースファイルからライブラリプロジェクトを作成します。

1. プロジェクトの作成

File -> New -> Android Application Projectでプロジェクトを作成します。 Mark this project as a libraryにチェックを入れ、Create Activityのチェックを外します。

2. ファイルの追加

作成したプロジェクトにJARファイルとリソースファイルを追加します。 libsフォルダにJARファイルをresフォルダにリソースファイルを追加します。フォルダがない場合は作成してください。

3. ライブラリプロジェクトの作成

作成したプロジェクトを選択し、Export -> Java -> JAR file で以下の項目を選択を選択します。

res
libs
.classpath
.project
AndroidManifest
proguard-project.txt
project.properties

Export Jar source files and resourcesのみ選択し、Optionは全てチェック選択します。エクスポート先を指定してFinishをクリックします。

作成したjarを解凍してライブラリプロジェクト完成です。

まとめ

今回はJARファイルからAARファイル・Eclipseライブラリプロジェクトを作成する手順を紹介しました。１度作成すると簡単に取り扱えるようになるので、同じライブラリを色々なプロジェクトで使う場合ではオススメです。

AWS利用におけるIAMの設計

こんにちは。配信/インフラチームの石田です。
現在DACから出向でユナイテッドでお世話になっております。
DACでも社内/サービス側両方のインフラ担当を担っております。

弊社では、AWSをDSP/SSPのサービスの基盤として利用しております。
また、AWSの利用者も、インフラチームや開発者、データ解析チームまで様々です。
「皆が同じルートアカンウトでログインし、全操作可能な状態」はセキュリティ的に問題があると考えております。

今回は、AWSのリソースアクセスコントロールを行い、セキュリティを向上する目的で導入したIAMの設計を紹介します。ルートアカウントでのAWSログインの廃止、CloudTrailでの操作ログ取得を実施するまでの過程を紹介します。

■IAMとは

IAMとは、Identity and Access Managementのことです。
ユーザーに対してAWSへのアクセスを安全に制御するための仕組みで、無料で導入できるのが魅力です。簡単に言うと、「AWSアカウントの中で、だれが何をできるかをコントロールするためのサービス」です。

■認証情報の種類

AWSにおける認証情報の種類としてはと下記の4つのクレデンシャルがあります。

AWSアカウントのパスワード
AWSアカウントのAPIキー
IAMユーザのパスワード
IAMユーザのAPIキー

■前提方針

前提条件としては、下記2つです。当然ですが、AWSルートカウントを利用しない方針でなければCloudTrailでの操作ログとして成立しません。

AWSルートアカウントはパスワードを変更し、利用しない。
登録情報等の管理と請求関連操作にだけ使う。
AWSルートアカウントのAPIキーは利用しない。

■設計

今回弊社では、「管理者・開発者・運用者の役割を設け、開発者の自由度を考慮した設計案」を採用しました。基本的には、個人にポリシーを付与する形ではなく、グループにポリシーを付与する形式をとっております。また、ポリシーを個別に作成することも可能ですが、AWS側であらかじめ準備しているポリシーを利用します。

◉グループ
弊社では、AWS利用ユーザを3分類し、開発者の自由度を高く設計しております。

管理者(Admin)
→全サービス操作可能
開発者(Developers)
→IAM以外全サービスの操作可能
運用者(Operators)
→全サービスの参照のみ可能

◉ポリシー
今回は下記5つのポリシーを上記グループに付与する形で権限管理を行っております。

”Administrator Access”
→AWSアカウントに代わる強力な権限。全操作可能(既存)
”Power User Access”
→上記、Admin用からIAM操作権が省かれたポリシー(既存)
”Read Only Access”
→参照用ユーザ向けポリシー(既存)
”ViewBilling”
→請求情報参照用ポリシー(独自)
”ChangePassword"
→初回ログインPW変更可能ポリシー(独自)

◉グループとポリシーの関係
最終的なグループへの付与ポリシーは下記の通りです。

管理者(Admin)
”Administrator Access”, ”ChangePassword"
開発者(Developers)
”Power User Access”,”ChangePassword"
運用者(Operators)
”Read Only Access”,”ChangePassword",”ViewBilling”

■設定手順

--ユーザ作成編--

1)ルートアカウントでログインする。

2)IAMに移動し、ユーザを作成する。ユーザ名を入力し、「ユーザごとにアクセスキーを生成」にチェックを入れる。

3)「認証情報をダウンロード」を選択し、アクセスキー、シークレットキーを保管する。

4)作成したユーザを選択し、認証情報タブを開き、「パスワードの管理」を選択する。

5)初回ログイン時に必要になるユーザのパスワードを生成する。「自動作成パスワードの割り当て」を選択する。また、「次回のサインインで新しいパスワードを作成するようにユーザに求める」にチェックを入れる。

6)「認証情報ダウンロード」から発行したパスワードを保管する。

--ポリシー作成編--

1)ルートアカウントでログインする。

2)アカウント>請求情報に対するIAMユーザアクセスの編集を選択する。

3)請求情報に対するIAMユーザアクセスの「IAMアクセスのアクティブ化」にチェックする。

4)IAMに移動し、ViewBillingポリシーの作成を行う。

5)ポリシーの作成>Policy Generatorを選択する。

6)アクセス許可の編集にて効果「許可」、AWSサービス「AWS Billing」、アクション「ViewAccount」「ViewBilling」にチェックを入れ, ステートメントを追加を選択する。

7)ポリシードキュメントが作成されるので、「ポリシーの検証」を実行後、作成する。今回のポリシー名は「ViewBilling」とする。

--グループ作成編--
1)ルートアカウントでログインする。

2)IAMに移動し、グループ>新しいグループの作成を選択する。

3)Admin には”Administrator Access”と”ChangePassword"を付与する。

4)Developersには”Power User Access”と”ChangePassword"を付与する。

5)Operatorsには”Read Only Access” と”ViewBilling”と”ChangePassword"を付与する。

--Cloud Trail編--
1)ルートアカウントでログインする。

2)Cloud Trailを選択する。

3)証跡名、S3バケットを指定することでログ取得が可能になる。

■まとめ

AWSのルートアカウントでのログインを行っている人もまだまだ、多いと思います。
例えば、退職者が発生する度にAWSのルートアカウントのパスワードを変更するといった運用を続けるのはどうなのでしょうか。 AWSといった責任共有モデルでは、個々のセキュリティレベルの意識によってセキュリティレベルも大きく変わってきます。今回のIAMの導入は、ユーザ、グループ、ポリシーといったコアな機能のみで構成されており、既存のポリシーを生かしつつ、簡単に導入できます。

アドサーバの実装にGo言語を用いるメリット

こんにちは。配信・インフラチームの川住です。

先日の記事にもありますが、最近、弊社DSP『Bypass』のRTB入札サーバはGo言語で実装されたものに完全にリプレイスされました。以前の入札サーバはLuaとC言語で実装されていましたが、規模の拡大に伴ってより大量のリクエストを高速に捌く必要が出てきたため、弊社SSP『AdStir』での開発・運用実績があり、Luaより処理が高速で、かつ比較的容易にHTTPサーバを実装できるGo言語へのリプレイスに至りました。

今回は、アドサーバの実装にGo言語を用いるメリットをいくつか紹介します。

リクエスト処理時のリソース消費がNginx+Luaの構成に比べて少ない

従来のLua実装では、ngx_luaモジュールを使用しており、Nginxの各プロセス内でLuaのプログラムを実行する形を取っていました。したがって、比較的大きなサイズのプロセスがforkされてしまうため、メモリ消費量が非常に多くなっていました。それに対して、Go言語を用いたサーバでは、プロセスをforkすることなくリクエストを並行して処理できるため、メモリ消費量がLua実装に比べて非常に少なく済んでいます。

強力なキャッシュモジュールの存在

RTBの入札サーバでは、大量のリクエストを高速に捌く必要があります。そのため、memcachedなどのKVSとの通信にかかるコスト (通信回数, データサイズ etc.) も考慮しなければなりません。Go言語には『go-cache』という強力なインメモリキャッシュのライブラリがあり、こちらを使用することで、KVSから取得したデータをプロセス内に保持でき、KVSとの通信コストを減らせます。Go言語のサーバ自体は1プロセスで動作しているため、キャッシュデータの共有も比較的容易に行えます。

以下にgo-cacheを用いたデータの取得と格納のコードを掲載します。

package main

import (
    "fmt"
    "github.com/patrickmn/go-cache"
    "time"
)
   
// [output]  
// key = value
// not found 
func main() {
    go_cache := cache.New(time.Duration(5)*time.Minute, 0)

    go_cache.Set("key", "value", time.Duration(5)*time.Second)

    if value, exists := go_cache.Get("key"); exists {
        fmt.Printf("%s = %s\n", "key", value)
    } else {
        fmt.Println("not found")
    }

    time.Sleep(time.Duration(10) * time.Second)

    if value, exists := go_cache.Get("key"); exists {
        fmt.Printf("%s = %s\n", "key", value)
    } else {
        fmt.Println("not found")
    }
}

package main

import (

"fmt"

"github.com/patrickmn/go-cache"

"time"

)

// [output]

// key = value

// not found

func main() {

go_cache := cache.New(time.Duration(5)*time.Minute, 0)

go_cache.Set("key", "value", time.Duration(5)*time.Second)

if value, exists := go_cache.Get("key"); exists {

fmt.Printf("%s = %s\n", "key", value)

} else {

fmt.Println("not found")

}

time.Sleep(time.Duration(10) * time.Second)

if value, exists := go_cache.Get("key"); exists {

fmt.Printf("%s = %s\n", "key", value)

} else {

fmt.Println("not found")

}

上記のように、Get関数とSet関数を用いて簡単にデータの取得や格納を行えます。データの格納時にはTTLも設定できます。しかし、go-cacheではデータの取得や格納を行う際にMutexを用いた排他制御を行っています。そのため、RTBの入札サーバのようにデータの読み書きが頻繁な環境で使用すると、go-cacheへのアクセス自体がボトルネックとなるため性能が低下してしまいます。このような環境では、go-cacheのインスタンスを複数生成しておき、キーによってシャーディングするなどして同一資源へのアクセスを分散させる必要があります。以下にシャーディング処理の一例を掲載します。

package main

import (
    "fmt"
    "github.com/patrickmn/go-cache"
    "time"
)

const (
    NUM_INSTANCE = 5
)

type GoCacheClient struct {
    CacheInstance []*cache.Cache
}

func (cc *GoCacheClient) Get(key string) (interface{}, bool) {
    return cc._getInstance(key).Get(key)
}

func (cc *GoCacheClient) Set(key string, value string, ttl time.Duration) {
    cc._getInstance(key).Set(key, value, ttl)
}

func (cc *GoCacheClient) _getInstance(key string) *cache.Cache {
    // djb2
    i, hash := 0, uint32(5381)
    for _, c := range key {
        hash = ((hash &lt;&lt; 5) + hash) + uint32(c)
    }
    i = int(hash) % NUM_INSTANCE
    fmt.Printf("get_instance: %d\n", i)
    return cc.CacheInstance[i]
}


func NewGoCacheClient(ttl time.Duration) *GoCacheClient {
    ret := &GoCacheClient{
        CacheInstance: make([]*cache.Cache, NUM_INSTANCE, NUM_INSTANCE),
    }
    for i := 0; i &lt; NUM_INSTANCE; i++ { 
        ret.CacheInstance[i] = cache.New(ttl, 0)
    }
    return ret
}

// [output]
// get_instance: 3
// get_instance: 4
// get_instance: 3
// key11111 = value1
// get_instance: 4
// key22222 = value2
func main() {
    go_cache := NewGoCacheClient(time.Duration(5) * time.Minute)
    go_cache.Set("key11111", "value1", time.Duration(10)*time.Second)
    go_cache.Set("key22222", "value2", time.Duration(10)*time.Second)
    if value, exists := go_cache.Get("key11111"); exists {
        fmt.Printf("key11111 = %s\n", value)
    } else {
        fmt.Println("not found")
    }
    if value, exists := go_cache.Get("key22222"); exists {
        fmt.Printf("key22222 = %s\n", value)
    } else {
        fmt.Println("not found")
    }
}

package main

import (

"fmt"

"github.com/patrickmn/go-cache"

"time"

)

const (

NUM_INSTANCE = 5

)

type GoCacheClient struct {

CacheInstance []*cache.Cache

}

func (cc *GoCacheClient) Get(key string) (interface{}, bool) {

return cc._getInstance(key).Get(key)

}

func (cc *GoCacheClient) Set(key string, value string, ttl time.Duration) {

cc._getInstance(key).Set(key, value, ttl)

}

func (cc *GoCacheClient) _getInstance(key string) *cache.Cache {

// djb2

i, hash := 0, uint32(5381)

for _, c := range key {

hash = ((hash << 5) + hash) + uint32(c)

}

i = int(hash) % NUM_INSTANCE

fmt.Printf("get_instance: %d\n", i)

return cc.CacheInstance[i]

}

func NewGoCacheClient(ttl time.Duration) *GoCacheClient {

ret := &GoCacheClient{

CacheInstance: make([]*cache.Cache, NUM_INSTANCE, NUM_INSTANCE),

}

for i := 0; i < NUM_INSTANCE; i++ {

ret.CacheInstance[i] = cache.New(ttl, 0)

}

return ret

}

// [output]

// get_instance: 3

// get_instance: 4

// get_instance: 3

// key11111 = value1

// get_instance: 4

// key22222 = value2

func main() {

go_cache := NewGoCacheClient(time.Duration(5) * time.Minute)

go_cache.Set("key11111", "value1", time.Duration(10)*time.Second)

go_cache.Set("key22222", "value2", time.Duration(10)*time.Second)

if value, exists := go_cache.Get("key11111"); exists {

fmt.Printf("key11111 = %s\n", value)

} else {

fmt.Println("not found")

}

if value, exists := go_cache.Get("key22222"); exists {

fmt.Printf("key22222 = %s\n", value)

} else {

fmt.Println("not found")

}

まとめ

Go言語を用いることで、高速に動作するアドサーバを比較的容易に実装できます。ただし、Go言語のサーバでは1プロセスで処理を行うため、共有資源の排他制御がボトルネックとなる可能性があり、その点を考慮しつつ実装する必要があります。