HadoopからSparkへの移行
こんにちは。配信/インフラチームの佐々木です。 今回は、adstirの集計システムをHadoopからSparkに移行したお話をしたいと思います。 以前の構成 adstirでは以前はAWS上のEMRでHadoopを使って集計していました。一つの集計のフローとしては以下のようになりま…
続きを読む
こんにちは。配信/インフラチームの佐々木です。 今回は、adstirの集計システムをHadoopからSparkに移行したお話をしたいと思います。 以前の構成 adstirでは以前はAWS上のEMRでHadoopを使って集計していました。一つの集計のフローとしては以下のようになりま…
続きを読む
こんにちは。配信/インフラチームの佐々木です。 少し前の話になりますが、Bypass(DSP)のRDBをEC2上のMySQLからからRDS(Aurora)に移行しました。 データ容量が膨大なためmysqldumpを利用した移行は出来ず、色々苦労しましたのでそう言った点を記載します…
続きを読む
こんにちは。技術開発部・配信/インフラチームの二階堂です。 弊社DSP「Bypass」ではDynamoDBを利用しております。 今回はその機能の一つであるDynamoDBストリームを紹介したいと思います。 DynamoDBストリームとは DynamoDBストリームはDynamoD…
続きを読む
こんにちは。技術開発部部長の川住です。 弊社DSP「Bypass」はシステムをAWSに移行してから5年以上が経過しました。近年ではEC2インスタンスをVPC (Virtual Private Cloud) 内に作成し運用していますが、AWSへの移行当初にVPC外(EC2-Clas…
続きを読む
こんにちは。技術開発部・配信/インフラチームの二階堂です。 弊社のプロダクトでは連携している効果測定ツールに対して、S2Sで通知を行う場合があります。 この通知処理を以前まではEC2上に配置したデーモンプログラムで行っていたのですが、処理の共通化・高速化・インフラ費用削減などの目…
続きを読む
こんにちは。配信/インフラチームの佐々木です。 弊社ではAWS上にシステムを構築していますが、前回お話しした通り監視ツールはCloudWatchを利用するケースが増えております。 今回はAPIを利用してCloudWatchを設定する手順をご説明します。 Alarmの設定 Clou…
続きを読む
こんにちは。配信/インフラチームの佐々木です。 今回は監視用ミドルウェアについて比較(と個人的な所感)について記載したいと思います。 私自身が実際に利用したことのあるツールが殆どなので、使用感なども踏まえてお話できればと思います。 Zabbix ZabbixはラトビアのZabbi…
続きを読む
こんにちは。配信/インフラチームの石田です。 現在DACから出向でユナイテッドでお世話になっております。 DACでも社内/サービス側両方のインフラ担当を担っております。 弊社では、AWSをDSP/SSPのサービスの基盤として利用しております。 また、AWSの利用者も、インフラチー…
続きを読む