今年は色々あった。キャリア的にも、キャリアじゃないところでも、色々なことがあった。 キャリア的な 年始の段階ではアナリティクスエンジニアをやっていて、BIの作成や自動化処理を業務領域にしていた。それからはデータエンジニアとなり、データ基盤の移…

はじめに 僕は日記をNotionで書き溜めている。日記をNotionで書き溜めると便利なことがある。 スマホやiPad、PCなど、媒体を選ばずさまざまなところで記録できる どこでも記録できるため、散歩している途中で思いついた時などに記録できる データはクラウド…

はじめに ※この記事は2023年のdbt Advent Calendarの19日目の記事です。 dbt-coreのオーケストレーションツールとしてDagster Cloudを導入してから4ヶ月ほど経った。ここで一度振り返り、普段当たり前のように使っているオーケストレーションツールの存在意…

先週、Snowflake社主催のSnowflake Technical Round Tableというイベントで登壇してきた。 speakerdeck.com 物理・オンライン含めて人生ではじめての登壇なので、日記のような感じでまとめてみたいと思う。 ググっても出てこないタイプのイベントらしい 経緯…

データに関連する職業を続けてきた傍ら、データがもたらす役割について考えていた。 データはモデルから生まれる。あらゆるモデルは間違っているが、そのうちいくつかは有用である。データはモデルを前提として生成されている。例えば、ユーザーの行動をモデ…

始める理由と続ける理由は違う。 2022年の2月、大学卒業直前になって、健常者エミュレータ事例集の取り組みを始めた理由は２つある。 一つは自己顕示欲であり、インターネットの巨大な海の中で自分がここにいると示したかった。情報が濁流となり、歴史の一文…

大学生に入る直前の頃、パソコンが欲しかった。お金は持っていなかったので、祖父に買ってもらった。それ以来6年祖父には会っていなかった。会う理由がないなら会わなくていいと思っていた。 仕事をしていると、母から「祖父が危篤だから、最後に会っておい…

会社入るまでのあらすじ： contradiction29.hatenablog.com PMFした直後のスタートアップに入社してから大体1年経った。振り返ってみたいと思う。 自分の中で変化したこと 1. 変化への耐性が付いた 「スタートアップは変化が激しい」は一般論だが、何の変化…

Architecture is Leadership Joe ReisとMatt Housleyの著書『Fundamentals of Data Engineering』はデータエンジニアリングにおける基本的な考え方を網羅的に説明した本で、その中にデータ・アーキテクチャの基本原則を説くチャプターがある。9つある基本原…

はじめに ダッシュボードをつくるのは難しい。「自分が本当に欲しいダッシュボード」を説明できるユーザーはめったにいない。本当に欲しいダッシュボードの要求定義を聞き出せるアナリスト・エンジニアだってそんなにいるものではない。本当に欲しいものが何…

はじめに 前にも書いたが、「アナリティクスエンジニア」を採用するのは難しい。そもそもアナリティクスエンジニアの知名度が低いし、スキルを持っている人が採用市場に少ない。 しかしニーズはある。以下のようなケースでは、アナリティクスエンジニアはか…

ノンデザイナーズ・デザインブックという本がある。 https://www.amazon.co.jp/%E3%83%8E%E3%83%B3%E3%83%87%E3%82%B6%E3%82%A4%E3%83%8A%E3%83%BC%E3%82%BA%E3%83%BB%E3%83%87%E3%82%B6%E3%82%A4%E3%83%B3%E3%83%96%E3%83%83%E3%82%AF-%E7%AC%AC4%E7%89%88-…

対象読者 dbtなどを触っている/触ろうとしているデータアナリスト 作業効率を上げたいアナリティクスエンジニア はじめに アナリティクスエンジニアを採用するのは難しい。アナリティクスエンジニアの概念を確立したdbtが日本で広まってからまだそんなに年が…

データ・パイプラインのラストワンマイル問題 物流業界には「ラストワンマイル」という言葉がある。 ja.wikipedia.org 「交通結節点から最終目的地までの人やモノの移動を表す」用語だそうだ。このラストワンマイルの管理が非常に難しく、Amazonとかヤマト運…

そろそろ転職してから1年たつので、まじめな転職エントリを書く 学生のころ（就活前） 学生の頃（就活） 就職した後 学生のころ（就活前） 学生時代前半の頃は拡大する自意識を持て余していた記憶がある。駅前の宗教勧誘に突撃してウィトゲンシュタインを引…

はじめに 「Notion*1にしかない情報を使ってダッシュボードを構築してほしい」みたいな需要が出てきた。その需要にこたえるため、Notionからデータを取り込んでSnowflakeに取り込む仕組みを作ってみたら社内で案外評判が良かったので、やり方を記しておきた…

めんどくさかったのでメモする Dockerfile本体 FROM amazonlinux:2 ARG PYTHON_VERSION=3.9.6 RUN yum update -y && yum install -y tar gzip make gcc openssl-devel bzip2-devel libffi-devel zip \ && curl https://www.python.org/ftp/python/${PYTHON_V…

最終的にできたもの。このレポートが毎朝送られるようになる。 何がしたいのか？ 基盤概要 各種コンポーネントについて Cloud Functions BigQuery Wordpressのデータモデリングとdbt Cloud Wordpressのデータモデリングを理解する Looker Studio まとめ 何が…

ざっくりとだが、健常者エミュレータ事例集の維持費が月当たりどのくらいなのかまとめてみる。 Lightsailの費用 健常者エミュレータ事例集は、AWSのLightsail上に構築されたWordpressサーバーの上で走っている。RAM4GB, vCPU2つのインスタンスを選択している…

行動の直接の原因になった「きっかけ」と「行動の理由」は別物になる。「引き金に手をかける行為」と「引き金を引く行為」の間にある関係と同じように、行動の理由ときっかけは関連しているけど、別物として捉えることもできる。拳銃の引き金に手をかけたの…