Quipper におけるリリース作業の負荷を分散するための取り組み

Web Developer@yuya-takeyama です。
入社から 1 年と少し経ちました。 Quipper School/スタディサプリ高校講座/大学受験講座の Web 開発を担当していて、帰宅前にバッティングセンターに通うのがほぼ日課です。

今日はリリースに関する話を書きますが、デプロイの自動化とかそういった話ではなく、もうちょっと泥臭い話です。

続きを読む

QuipperにおけるTerraformの運用

f:id:quipper-ja:20161024115945p:plain

こんにちは、Engineeringチームの石村(kamatama41)です。Engineeringチームの主な役割はインフラ構築や監視、パフォーマンス改善などのいわゆるDevOpsやSREと言われる領域になります。 Quipperでは現在グローバル向けであるQuipper (School, Video)と日本向けのスタディサプリという二つのプロダクトを運用しており、それらのプロダクトはAWS上に構築され、Terraformを使って構成管理をしています。そこで、私達がTerraformを運用するために工夫している点を紹介したいと思います。

続きを読む

Treasure Data から大量のデータを MongoDB にインポートする話

こんにちは。今年の6月に入社した Web Developer の田中です。

Quipper ではデータの収集に Treasure Data(以下 TD) を使っています。今回、収集したデータの一部(数千万件ほど!)を MongoDB にインポートする必要があったので、その時にやった事をまとめました。

tl;dr

  • TD に数千万件あるデータを MongoDB にインポートする必要があった
  • Ruby で愚直に書いたらリソースを使いきってサーバが落ちた
  • Engineering チームと協力して、サーバ強化+別インスタンス化、コードの省メモリ化を行い、無事にインポートできた
続きを読む