FLINTERS 新卒2年目データエンジニアの塚本です。 この記事はFLINTERSブログ祭りの記事です。弊チームでは #今期の振り返りを統一テーマに設定しました。この記事では新卒研修修了後、チーム配属されてからの様子を振り返っていこうと思います。
新卒研修の様子は以前書いたエントリを御覧ください。
これまでの仕事
チーム配属されて最初の仕事は、あるシステムのデータベース間連携の取得情報の拡充でした。1まとまりのシステムを担うのが初めてなのでわからないことだらけでしたが、新しいロジックを構築するわけではないので、先行プルリクエストが非常に参考になります。先輩の真似をしながら、部品の積み増しをしていく中で担当システムのデータの流れを追っていくことが出来る、良いオンボーディングタスクだったように思います。
安定した、機能追加も少ないプロダクトが主担当だったので、私の受け持つタスクの焦点は運用改善に向いていきました。一例として、再実行スクリプトプログラムの作成があります。担当プロダクトでは独自のWebUI等を持たなかったので、連携システムが障害から復帰したとき、弊システムでもエンジニアがAirflowの内部コンソールから連携データを再取得実行する必要があり、開発者の時間を一定取っていました。また、客先-PdO-エンジニアと連絡フローが深いので、復旧時間を遅らせる要因にもなっている問題がありました。これに対して、AirflowのREST APIを安全な条件に制約して叩く簡素なCLI Pythonスクリプトと、取得完了通知をSlackに流すPythonOperatorをPdO向けに用意することで、エンジニアを介することなく、PdO自ら安全に障害復帰を可能にしました。
他に、データ差分のチェック機構や、ライブラリアップデートの定期行動化、クラウドサービス利用料金の自動取得などに取り組みました。また、CERTと呼ぶセキュリティ意識向上チームや、今年の新卒研修メンターなども担当しています。これらは、有志チームであり、自ら手を上げることで参加します。後述のように、クラウド時代のセキュリティに私自身不安があり、視界を広げ、チームに持ち帰る機会が与えられていることはありがたいです。
業務としてのエンジニアリングで感じたこと
「システムを稼働させる」ということ
学生時代のプログラミングは、対話型のドキュメントやアプリケーション(VBA・Jupyter Notebook・RStudio等)を用いたデータ分析のツールとしての勉強、或いはオンラインジャッジを用いた競技プログラミングによるアルゴリズム実装の勉強としてのコーディングが主でした。なので、計算機に処理してほしい内容のみが興味の対象で、環境を整えるお膳立てに対する意識は極めて弱かったです。実際に業務としてシステムを担うと2つの点で、経験の浅さと向き合うことになりました。
1つ目はローカル・オンプレミス階層の環境構築です。プロジェクトのビルドやライブラリのバージョン管理、書いたコードのアプリケーションとしての起動、コンテナを利用したテスト環境の構築はこれまであまり考えたことが無い階層でした。
2つ目は、クラウドサービス階層のインフラ知識です。非常に細かく細分化された権限管理の中で自分が追加する機能がどの権限を利用するのか、サービス外との通信をどのように制御するのか、IaC化の作法やその安全性の管理等は完全に知らない世界でした。
業務としてのシステムは、「どのように保守するか」が最大の関心と言っても良いくらい重要で、ただ自分の手元で1回動けば良いわけではなく、移り変わりの早い情報エコシステムの中で、予定された年数動き続ける必要があるし、また自身が異動になっても後続に引き継ぎが簡単である必要があります。
前述のデータ再取得機能を実装するときも、RESTエンドポイントを叩くPythonスクリプトファイルは簡単な構成で済み、わたしの慣れ親しんだフィールドだったのですが、実際に運用に乗せるにあたって、その保守性に悩むことになりました。最終的には、このプロダクト自体が1年後にクローズが決定していること、削減される時間効果の高さが決め手になりました。
潮流への感度
多くの人がOpenAI社のニュース等、テクノロジーの動向をキャッチアップしています。制度としても、弊社ではGithub CopilotとOpenAI APIの契約を全社員にトライアル開放しており、積極的に生産性の向上に取り組んでいます。私は、自分自身の検索能力に自信があったこともあって、チャットAIに頼る時代はまだ先だろうなと考えていましたが、せっかく開放されているのでと使ったところ、今では必要不可欠な存在になっています。
結語
まだ2年目、これからも学ぶことが山積みです。また、前段で書いたように、技術のパラダイムシフトによってITの仕事の世界もまたこれから大きく変革していくという実感があります。学校を出ても「常に学び続ける」必要がある、ということもまた業務に携わってより深く実感に変わったことかもしれません。引き続き精進していきます。
