Takumi Tokiwa

はじめに最近はETLパイプラインやバッチ処理を中心としたアプリ開発に関わることが多く、データ周りへの興味がでてきました。AWSでの実現方法の有力候補であるAWS Step Functionsを実際に触ってみて、どのようなユースケースに対応できるのを調査してみます。 サービス概要AWSの各サービスと連携・統合することにより、分散アプリケーション・マイクロサービスを実現するフルマネージドなオーケストレーションサービスです。 ステートマシン1つのStep Functionsの定義をステートマシンと呼び、各ステップをステートと呼びます。 ASL(Amazon States ...

AWS Step Functions ゼロから入門

はじめにCloudRunを技術検証を兼ねて触ってみます。合わせてCloudRunジョブやEventarcトリガーによる処理も検証していきます。 アプリケーションコード全コードはこちらのリポジトリに公開しています。% tree ..├── Dockerfile├── README.md├── app│   ├── __pycache__│   │   └── main.cpython-311.pyc│   └── main.py└── requirements.txtmain.pyimport loggingimport osfrom fasta...

CloudRunでFastAPIサーバーを構築しつつ、ジョブやイベントトリガーを試してみる

ISUCON13に参戦してきました！最終スコアは10,983点で（おそらく）220位でした。 きっかけ前職の同僚エンジニアnakanotに誘わたことがきっかけでした。同じく前職同僚の02を加えて3人でチームを組むことになりました。チームメンバー全員ISUCONは初参加です。私自身、もともとISUCONに興味があったのと、業務ではECSでWebアプリの開発とかしていたので、バックエンド・インフラの両方でスキル幅が広がるかも！とか考えてました。 事前準備参加を決めたらすぐさまISUCON 夏祭り 2023に申し込み、セッションを一通りきいてISUCONの解像度を高める達...

ISUCON13 参加レポート

はじめにデータ集計をするときは行単位ではなく列単位で処理をしたほうがやりやすい。pandasのようなデータフレームのライブラリがRubyでないか調べたところ、red-arrowを見つけました。 セットアップhttps://github.com/apache/arrow/tree/main/ruby/red-arrowInstall Apache Arrow GLib before install Red Arrowgemの他に、マシン自体ににApache Arrow GLibを入れる必要があります。今回はDockerで環境を立てるので、ruby:3.2.2-sl...

red-arrow セットアップ編

はじめに新規アプリケーション開発でメール送信機能を一から実装したときに、送信ドメイン認証を設定する必要がありました。そこで設定したものや実装する上で必要な知識をまとめます。メールサーバーは自前で用意せず、メールリレーサービスの利用を前提としています。 送信ドメイン認証とはメールの信頼性を上げ、到達率の改善に貢献する仕組みのことです。迷惑メールとして認識されないようにするのが目的送信元が詐称されていないかを検証する送信元メールサーバのIPアドレスや電子署名を利用して認証を行う認証経路はDNSを利用する メールの構造メールそのものの構造には「差出人」に相当す...

送信ドメイン認証を活用してメールの信頼性を上げる

はじめに先日、AWS認定ソリューションアーキテクトアソシエイト(SAA-C03)に合格したので、使った教材や勉強方法を記していこうと思います。 使った教材AWS認定資格 ソリューションアーキテクトアソシエイトの教科書: 合格へ導く虎の巻【SAA-C03版】AWS 認定ソリューションアーキテクト アソシエイト模擬試験問題集AWS サービス別資料 BlackBeltAWS Skill BuilderAWS Certified Solutions Architect – Associate Official Practice Question Set (SAA-C03...

AWS SAA-C03に合格しました

はじめにデータエンジニアリング領域を業務で触るようになり、今まで気にすることのなかった様々なコストを気にするようになりました。ETLパイプラインを使用して定期的にBigQueryへデータを取得していると、塵積でとんでもないコストがかかっていたりします。今回は、ETLパイプライン運用など、定期でBigQueryへクエリが発生する状態を想定して、お金のコストを抑えるためのポイントを書き留めます。 BigQueryの課金体系BigQueryの課金体系には大きく2つの要素があります。分析料金ストレージ料金BigQuery の料金ストレージ料金に関しては、必要なデータを...

BigQueryの課金を抑えるために

コミット履歴キレイですか / clean up commit logs

scala で Json を取り扱うときの筆頭ライブラリ spray-json の使い方メモ。spray/spray-jsontl;drJson キーとクラスフィールドをそのままに変換する場合…

spray-jsonのススメ

はじめにテスト書いてますか？テストコードが0のアプリにようやくテストコードを入れるようになり、RxTest/RxBlockingを使いはじめました。CombineLatestで複数のObser…

CombineLatest Streamのテスト手法

ネットを介してのWebView表示ではなく、手元にあるHTMLをWebViewで表示、scriptタグ内のJSメソッドの呼び出し方法をまとめます。SwiftでWebViewを表示させる場合、WKW…

WKWebViewでローカルのindex.htmlを読み込んでscriptを実行してみた

はじめに勉強会に参加したので備忘のため内容はiOS開発のベース部分であるUIKitについてUIViewUIViewの役割サイズを持ち、ツリー構造を表現できる適切に配置することができる(A…