最近起こったこと、やっていることなどを共有したい 転職活動について 今年の1月から転職活動を始めている。転職活動を始めた理由は複数あるが、いろいろ書いていこうと思う。なお、2024-04-24現在のステータスは「振出しに戻った」である。 ダークサイド ま…

社会人になるまで自己紹介ができなかった。何を話せばいいのかわからなかった。 今は自己紹介ができる。どこでも通じる自己紹介は存在しないことが分かった。 自己紹介は「TPOを踏まえて適切な話題を選択し、自分について他人が理解を深められるようにする」…

カレーライスからライスを抜いたら何が残るだろうか。カレールーが残る。過去にカレーライスを食べた経験があるなら、「ライスが欲しいな」と思うだろう。 別の例を考えてみる。寿司からシャリを抜いたら何が残るだろうか。刺身が残る。寿司を食べるつもりだ…

はじめに 健常者エミュレータ事例集に初めて投稿された記事は、管理人がテスト目的で投稿した以下の記事だった。 healthy-person-emulator.org この投稿をしたのが2022年の3月3日であり、2年前のことになる。今日2024年3月9日時点で合計投稿数は8985件、コメ…

健エミュに書こうと思ったがマニアックすぎたのでやめた。自作PCの話だ。 朝起きて自作PCの電源を入れてみると、ディスプレイに映像が出なくなっていた。昨日までは動作したが、今日はなぜか動作しない。心当たりは特にない。とりあえずグラボの抜き差しや別…

はじめに この記事では、健常者エミュレータ事例集を構成する技術について記述します。 健常者エミュレータ事例集を構成する技術について俯瞰的に見たのち、個々のコンポーネントについて触れ、技術選定をした歴史的経緯などについてもちょびっと書きます Wo…

筆者がスタートアップの「データ何でもチーム」をやってきた中で、考えてきて実践してきたことを吐き出します ポエムです data as a product データメッシュを実現する文脈の中で、「それぞれのドメインに分散されたチームが自身の提供するデータセットに対…

はじめに 0. ドキュメントを書く時の原則 読み手の認知負荷を下げる 書き手の認知負荷も下げる 1. 最初にドキュメント概要を書く 2. ブレットは三段まで 3. トグルは「閉じてても本筋には影響ない補足情報」を入れる 4. 絵文字を使わない はじめに この文章…

キャリアの方向性について方向性が掴めてきたので、殴り書きしてみる。 俺はデータを使ってビジネスをいい感じにしていくのがやりたいんだ。 データエンジニアをやりたい訳ではない。アナリティクスエンジニアをやりたいわけでもない。どちらも単体では価値…

三度の飯よりGitHub-Flowが好き GitHub-flowはシンプルなブランチ戦略で、以下のような手順で本番環境に変更を反映する mainブランチからfeatureブランチを作成 変更をコミットし、プルリクエストを作成 レビュワーからの指摘を受けつつ、リモートレポジトリ…

散歩をしていたらベトナム料理店を見つけて、ブン・ボー・フエを食べた。 ブン・ボー・フエ。辛いフォーみたいなやつ 私は5年前、18歳の頃にベトナムを旅行した。その時のことは今の自分にとっても結構重要な出来事ではあって、今になって文章に起こすことが…

前提：一度生まれたシステムはそう簡単に死なない まず殺意 殺す理由は後でいい 跡形を残さない 前提：一度生まれたシステムはそう簡単に死なない 昔話をしよう。 あるエンジニアがいた。コードを書くことに没頭した男だ。技術的負債が山ほど生み出された。 …

はじめに StreamlitをApp Engineにデプロイすることのメリット AWSのEC2・ECSへのデプロイと比較した場合のメリデメ データの利用者は怠惰なものだからシームレスな認証体験が必要 開発が早い GCPのCloud Runと比較した場合のメリデメ Streamlit in Snowflak…

今年は色々あった。キャリア的にも、キャリアじゃないところでも、色々なことがあった。 キャリア的な 年始の段階ではアナリティクスエンジニアをやっていて、BIの作成や自動化処理を業務領域にしていた。それからはデータエンジニアとなり、データ基盤の移…

はじめに 僕は日記をNotionで書き溜めている。日記をNotionで書き溜めると便利なことがある。 スマホやiPad、PCなど、媒体を選ばずさまざまなところで記録できる どこでも記録できるため、散歩している途中で思いついた時などに記録できる データはクラウド…

はじめに ※この記事は2023年のdbt Advent Calendarの19日目の記事です。 dbt-coreのオーケストレーションツールとしてDagster Cloudを導入してから4ヶ月ほど経った。ここで一度振り返り、普段当たり前のように使っているオーケストレーションツールの存在意…

先週、Snowflake社主催のSnowflake Technical Round Tableというイベントで登壇してきた。 speakerdeck.com 物理・オンライン含めて人生ではじめての登壇なので、日記のような感じでまとめてみたいと思う。 ググっても出てこないタイプのイベントらしい 経緯…

データに関連する職業を続けてきた傍ら、データがもたらす役割について考えていた。 データはモデルから生まれる。あらゆるモデルは間違っているが、そのうちいくつかは有用である。データはモデルを前提として生成されている。例えば、ユーザーの行動をモデ…

始める理由と続ける理由は違う。 2022年の2月、大学卒業直前になって、健常者エミュレータ事例集の取り組みを始めた理由は２つある。 一つは自己顕示欲であり、インターネットの巨大な海の中で自分がここにいると示したかった。情報が濁流となり、歴史の一文…

大学生に入る直前の頃、パソコンが欲しかった。お金は持っていなかったので、祖父に買ってもらった。それ以来6年祖父には会っていなかった。会う理由がないなら会わなくていいと思っていた。 仕事をしていると、母から「祖父が危篤だから、最後に会っておい…

会社入るまでのあらすじ： contradiction29.hatenablog.com PMFした直後のスタートアップに入社してから大体1年経った。振り返ってみたいと思う。 自分の中で変化したこと 1. 変化への耐性が付いた 「スタートアップは変化が激しい」は一般論だが、何の変化…

Architecture is Leadership Joe ReisとMatt Housleyの著書『Fundamentals of Data Engineering』はデータエンジニアリングにおける基本的な考え方を網羅的に説明した本で、その中にデータ・アーキテクチャの基本原則を説くチャプターがある。9つある基本原…

はじめに ダッシュボードをつくるのは難しい。「自分が本当に欲しいダッシュボード」を説明できるユーザーはめったにいない。本当に欲しいダッシュボードの要求定義を聞き出せるアナリスト・エンジニアだってそんなにいるものではない。本当に欲しいものが何…

はじめに 前にも書いたが、「アナリティクスエンジニア」を採用するのは難しい。そもそもアナリティクスエンジニアの知名度が低いし、スキルを持っている人が採用市場に少ない。 しかしニーズはある。以下のようなケースでは、アナリティクスエンジニアはか…

ノンデザイナーズ・デザインブックという本がある。 https://www.amazon.co.jp/%E3%83%8E%E3%83%B3%E3%83%87%E3%82%B6%E3%82%A4%E3%83%8A%E3%83%BC%E3%82%BA%E3%83%BB%E3%83%87%E3%82%B6%E3%82%A4%E3%83%B3%E3%83%96%E3%83%83%E3%82%AF-%E7%AC%AC4%E7%89%88-…

対象読者 dbtなどを触っている/触ろうとしているデータアナリスト 作業効率を上げたいアナリティクスエンジニア はじめに アナリティクスエンジニアを採用するのは難しい。アナリティクスエンジニアの概念を確立したdbtが日本で広まってからまだそんなに年が…

データ・パイプラインのラストワンマイル問題 物流業界には「ラストワンマイル」という言葉がある。 ja.wikipedia.org 「交通結節点から最終目的地までの人やモノの移動を表す」用語だそうだ。このラストワンマイルの管理が非常に難しく、Amazonとかヤマト運…

そろそろ転職してから1年たつので、まじめな転職エントリを書く 学生のころ（就活前） 学生の頃（就活） 就職した後 学生のころ（就活前） 学生時代前半の頃は拡大する自意識を持て余していた記憶がある。駅前の宗教勧誘に突撃してウィトゲンシュタインを引…

はじめに 「Notion*1にしかない情報を使ってダッシュボードを構築してほしい」みたいな需要が出てきた。その需要にこたえるため、Notionからデータを取り込んでSnowflakeに取り込む仕組みを作ってみたら社内で案外評判が良かったので、やり方を記しておきた…

めんどくさかったのでメモする Dockerfile本体 FROM amazonlinux:2 ARG PYTHON_VERSION=3.9.6 RUN yum update -y && yum install -y tar gzip make gcc openssl-devel bzip2-devel libffi-devel zip \ && curl https://www.python.org/ftp/python/${PYTHON_V…