現実モデリング

データとかエンジニアリングとか健エミュとか

技術

健常者エミュレータ事例集を支える技術

はじめに この記事では、健常者エミュレータ事例集を構成する技術について記述します。 健常者エミュレータ事例集を構成する技術について俯瞰的に見たのち、個々のコンポーネントについて触れ、技術選定をした歴史的経緯などについてもちょびっと書きます Wo…

私的:Notionで社内ドキュメントを書く時に気をつけていること

はじめに 0. ドキュメントを書く時の原則 読み手の認知負荷を下げる 書き手の認知負荷も下げる 1. 最初にドキュメント概要を書く 2. ブレットは三段まで 3. トグルは「閉じてても本筋には影響ない補足情報」を入れる 4. 絵文字を使わない はじめに この文章…

Serverless Frameworkで実現するGitHub-flow

三度の飯よりGitHub-Flowが好き GitHub-flowはシンプルなブランチ戦略で、以下のような手順で本番環境に変更を反映する mainブランチからfeatureブランチを作成 変更をコミットし、プルリクエストを作成 レビュワーからの指摘を受けつつ、リモートレポジトリ…

StreamlitをApp Engineにデプロイする

はじめに StreamlitをApp Engineにデプロイすることのメリット AWSのEC2・ECSへのデプロイと比較した場合のメリデメ データの利用者は怠惰なものだからシームレスな認証体験が必要 開発が早い GCPのCloud Runと比較した場合のメリデメ Streamlit in Snowflak…

排便行為としての日記 : Notionで書き溜めた日記をjarvisx17/japanese-sentiment-analysisで感情分析する

はじめに 僕は日記をNotionで書き溜めている。日記をNotionで書き溜めると便利なことがある。 スマホやiPad、PCなど、媒体を選ばずさまざまなところで記録できる どこでも記録できるため、散歩している途中で思いついた時などに記録できる データはクラウド…

Dagster Cloudで運用するdbt : オーケストレーションツールの技術選定、および4ヶ月運用してわかったメリットとデメリット

はじめに ※この記事は2023年のdbt Advent Calendarの19日目の記事です。 dbt-coreのオーケストレーションツールとしてDagster Cloudを導入してから4ヶ月ほど経った。ここで一度振り返り、普段当たり前のように使っているオーケストレーションツールの存在意…

ダッシュボード・プロトタイピング:手戻りなくユーザーが本当に欲しいダッシュボードを作るためのHow to

はじめに ダッシュボードをつくるのは難しい。「自分が本当に欲しいダッシュボード」を説明できるユーザーはめったにいない。本当に欲しいダッシュボードの要求定義を聞き出せるアナリスト・エンジニアだってそんなにいるものではない。本当に欲しいものが何…

データアナリストからアナリティクスエンジニアへ:スキルギャップと克服

はじめに 前にも書いたが、「アナリティクスエンジニア」を採用するのは難しい。そもそもアナリティクスエンジニアの知名度が低いし、スキルを持っている人が採用市場に少ない。 しかしニーズはある。以下のようなケースでは、アナリティクスエンジニアはか…

楽して構築するアナリティクスエンジニア向けターミナル環境整備【Zsh】

対象読者 dbtなどを触っている/触ろうとしているデータアナリスト 作業効率を上げたいアナリティクスエンジニア はじめに アナリティクスエンジニアを採用するのは難しい。アナリティクスエンジニアの概念を確立したdbtが日本で広まってからまだそんなに年が…

【データ分析基盤】Notionをデータソースとして使う

はじめに 「Notion*1にしかない情報を使ってダッシュボードを構築してほしい」みたいな需要が出てきた。その需要にこたえるため、Notionからデータを取り込んでSnowflakeに取り込む仕組みを作ってみたら社内で案外評判が良かったので、やり方を記しておきた…

AWS LambdaのLayerをつくるためだけのDockerfile (Amazon Linux 2)

めんどくさかったのでメモする Dockerfile本体 FROM amazonlinux:2 ARG PYTHON_VERSION=3.9.6 RUN yum update -y && yum install -y tar gzip make gcc openssl-devel bzip2-devel libffi-devel zip \ && curl https://www.python.org/ftp/python/${PYTHON_V…

dbt Cloud, BigQuery, Looker Studioで始めるお手軽データ基盤【個人サービス向け】

最終的にできたもの。このレポートが毎朝送られるようになる。 何がしたいのか? 基盤概要 各種コンポーネントについて Cloud Functions BigQuery Wordpressのデータモデリングとdbt Cloud Wordpressのデータモデリングを理解する Looker Studio まとめ 何が…

健常者エミュレータ事例集の維持費

ざっくりとだが、健常者エミュレータ事例集の維持費が月当たりどのくらいなのかまとめてみる。 Lightsailの費用 健常者エミュレータ事例集は、AWSのLightsail上に構築されたWordpressサーバーの上で走っている。RAM4GB, vCPU2つのインスタンスを選択している…