はじめまして、昨年 11 月に入社しました田邊(@emaggame)と申します。今回は先日 2018/04/02(月)に弊社にて実施いたしました 新宿Geek Lounge#4 分析基盤Meetup ver2 の開催模様をお伝えします。
オープニング
弊社 CTO 河内より、本 Meetup 開催の趣旨説明と乾杯です。年度初めというお忙い中、多くの方にご参加いただきありがとうございます!
Kafka/Fluentd/Sparkを用いたデータ分析基盤の運用話
最初は 木村様(@kimutansk) の発表です。
データエンジニアとして、ドワンゴ社様の多様なサービス、ユーザのアクション、そしてデバイスに対し、爆発的に増えていくログの分析基盤を支えてらっしゃいます。
本発表ではデータの収集・可視化・整形集計それぞれのソフトウェアスタックの概要から始まり、Kafka や Fluentd 運用中に遭遇したトラブルについて、どのように対処されてきたかをお話いただきました。Kafka に限らずですが、分散システム自体の複雑さからくるトラブルは、原因解析に高度なスキルと地道な切り分けが要求されます。こういった知見を共有いただけるのは大変貴重なことだと思います。
AWS 上での Spark 環境構築・運用
次の 鹿島様(@k4200jp)の発表では AWS 上でデータ分析基盤を構築するにあたって失敗談やはまりどころ、サービス利用の指針についてお話いただきました。
トピックを一部紹介しますと、S3 のリージョンは日本で運用するなら東京リージョンでよい? AWS のアカウントは 1 つで運用 or 環境ごとにわける? AWS でバッチを行うには? AWS のサポートサービスには入っておいたほうがいいの? などなど。。インフラ構築にあたって遭遇するであろうシーンが凝縮された発表でした。
最近のApache Sparkエコシステムとランタイムの話
発表後半は SORACOM 今井様(@imai_factory)からスタートです。
今回 Apache Spark を用いた事例が多かったですが、本発表ではそのランタイムや、IoT におけるネットワーク・デバイス・データついて考えるべき重要なポイントについてお話いただきました。HTTP(S) 上で JSON のやり取りを行える IoT デバイスはソフトウェスタック的にも重厚で価格的にも高価であること、通信量によるバッテリー消費が無視できないことなど、IoT ならではの世界観に驚きました(SORACOM 様ではこうした状況を解決する SORACOM Funnel を提供されているとのこと)。また、モバイルネットワークは切れる前提で考えるなど、失敗は起こるものとした設計が徹底されており、持ち帰りたいと感じたポイントの 1 つでした。
Tableau Serverについて
本編最後の発表は弊社 今泉(@stranger_s_s)による Tableau に関しての発表です。
発表では Tableau のデモや弊社での運用の歴史、運用してみての感想(良かった点、今後の課題)をテーマに、どのように社内展開し現在の安定稼働につなげていったかをお伝えいたしました。会場参加者の 8 割以上の方が Tableau をご存知であるなど、データ分析や可視化についての関心や普及の高まりを感じます。発表の最後に課題として データ民主化 を挙げてあり、いかにして社内全体に定着していくかは、次の横山様の発表にもありますように大きな山の 1 つのようです。
データ基盤を支える民主化とサービスレベル
最後に LT として 横山様(@yuzutas0) に発表いただきました。
データの民主化とそのサービスレベルをテーマに、いかにしてデータ基盤を社内全体に使ってもらうか、また基盤システムの信頼性を高めるために日々取り組まれている内容についてお話いただきました。チームでデータが活用されているかのモニタリング、実施した施策の評価、モブデータ分析など、5 分の LT と言わず、ぜひフルバージョンでお聞きしたい内容ばかりでした。また、サービスレベルについて書かれた下記記事は必見です。
懇親会
最後は懇親会です。発表者の方々を中心に、日頃のデータ分析に関する様々について活発な議論が行われていました。
最後に
データの活用が注目されて久しい昨今ですが、そのデータの収集、運用、現場へのフィットなど、多くの課題とその解決に向けて皆様取り組まれており、とても刺激になりました。あらためて発表者および参加者の皆様にお礼申し上げます。弊社でもデータ分析について日々取り組んでおりますので、ご興味のある方いらっしゃいましたらぜひお声がけください!
また、新宿Geek Lounge では引き続き発表者の募集をしております。この場でお話したいことがございましたらぜひご連絡いただければと思います。
