カテゴリー別アーカイブ: インフラ

HadoopからSparkへの移行

こんにちは。配信/インフラチームの佐々木です。 今回は、adstirの集計システムをHadoopからSparkに移行したお話をしたいと思います。 以前の構成 adstirでは以前はAWS上のEMRでHadoopを使って集計していました。一つの集計のフローとしては以下のようになりま…
続きを読む

EC2上のMySQLからRDSへの移行

こんにちは。配信/インフラチームの佐々木です。 少し前の話になりますが、Bypass(DSP)のRDBをEC2上のMySQLからからRDS(Aurora)に移行しました。 データ容量が膨大なためmysqldumpを利用した移行は出来ず、色々苦労しましたのでそう言った点を記載します…
続きを読む

DynamoDBストリームの利用

こんにちは。技術開発部・配信/インフラチームの二階堂です。 弊社DSP「Bypass」ではDynamoDBを利用しております。 今回はその機能の一つであるDynamoDBストリームを紹介したいと思います。 DynamoDBストリームとは DynamoDBストリームはDynamoD…
続きを読む

SQS + Lambdaでs2sの基盤を作った話

こんにちは。技術開発部・配信/インフラチームの二階堂です。 弊社のプロダクトでは連携している効果測定ツールに対して、S2Sで通知を行う場合があります。 この通知処理を以前まではEC2上に配置したデーモンプログラムで行っていたのですが、処理の共通化・高速化・インフラ費用削減などの目…
続きを読む

APIを利用したCloudWatchの設定

こんにちは。配信/インフラチームの佐々木です。 弊社ではAWS上にシステムを構築していますが、前回お話しした通り監視ツールはCloudWatchを利用するケースが増えております。 今回はAPIを利用してCloudWatchを設定する手順をご説明します。 Alarmの設定 Clou…
続きを読む

監視ツールの比較

こんにちは。配信/インフラチームの佐々木です。 今回は監視用ミドルウェアについて比較（と個人的な所感）について記載したいと思います。 私自身が実際に利用したことのあるツールが殆どなので、使用感なども踏まえてお話できればと思います。 Zabbix ZabbixはラトビアのZabbi…
続きを読む

AWS利用におけるIAMの設計

こんにちは。配信/インフラチームの石田です。 現在DACから出向でユナイテッドでお世話になっております。 DACでも社内/サービス側両方のインフラ担当を担っております。 弊社では、AWSをDSP/SSPのサービスの基盤として利用しております。 また、AWSの利用者も、インフラチー…
続きを読む