現実モデリング

データとかエンジニアリングとか健エミュとか

自戒:高圧的な印象を避けるための小手先会話テクニック

「小手先だろうが構わない、本性はグロすぎるから他人に見せたくない」そう割り切るようになった。ありのままの自分を誰に見せればいいのか?「誰にも見せるべきではない」と結論付けた。 しばらく小手先のテクニックを磨いていたら、相手を傷つけずに会話の…

近況報告:2024-04-24

最近起こったこと、やっていることなどを共有したい 転職活動について 今年の1月から転職活動を始めている。転職活動を始めた理由は複数あるが、いろいろ書いていこうと思う。なお、2024-04-24現在のステータスは「振出しに戻った」である。 ダークサイド ま…

自己紹介:2024-04-01

社会人になるまで自己紹介ができなかった。何を話せばいいのかわからなかった。 今は自己紹介ができる。どこでも通じる自己紹介は存在しないことが分かった。 自己紹介は「TPOを踏まえて適切な話題を選択し、自分について他人が理解を深められるようにする」…

すみません、孤独のグルメ、グルメ抜きでお願いします

カレーライスからライスを抜いたら何が残るだろうか。カレールーが残る。過去にカレーライスを食べた経験があるなら、「ライスが欲しいな」と思うだろう。 別の例を考えてみる。寿司からシャリを抜いたら何が残るだろうか。刺身が残る。寿司を食べるつもりだ…

現実世界のために:数字で振り返る健常者エミュレータ事例集2周年

はじめに 健常者エミュレータ事例集に初めて投稿された記事は、管理人がテスト目的で投稿した以下の記事だった。 healthy-person-emulator.org この投稿をしたのが2022年の3月3日であり、2年前のことになる。今日2024年3月9日時点で合計投稿数は8985件、コメ…

マザーボードのBIOSをアップデートするときはよく名前を確認した方がいい

健エミュに書こうと思ったがマニアックすぎたのでやめた。自作PCの話だ。 朝起きて自作PCの電源を入れてみると、ディスプレイに映像が出なくなっていた。昨日までは動作したが、今日はなぜか動作しない。心当たりは特にない。とりあえずグラボの抜き差しや別…

健常者エミュレータ事例集を支える技術

はじめに この記事では、健常者エミュレータ事例集を構成する技術について記述します。 健常者エミュレータ事例集を構成する技術について俯瞰的に見たのち、個々のコンポーネントについて触れ、技術選定をした歴史的経緯などについてもちょびっと書きます Wo…

社内データ基盤 as a Product : いい感じにやっていけ

筆者がスタートアップの「データ何でもチーム」をやってきた中で、考えてきて実践してきたことを吐き出します ポエムです data as a product データメッシュを実現する文脈の中で、「それぞれのドメインに分散されたチームが自身の提供するデータセットに対…

私的:Notionで社内ドキュメントを書く時に気をつけていること

はじめに 0. ドキュメントを書く時の原則 読み手の認知負荷を下げる 書き手の認知負荷も下げる 1. 最初にドキュメント概要を書く 2. ブレットは三段まで 3. トグルは「閉じてても本筋には影響ない補足情報」を入れる 4. 絵文字を使わない はじめに この文章…

おれはデータエンジニアでもアナリティクスエンジニアでもなく、データを使ってビジネスをいい感じにしていきたいだけなんだ

キャリアの方向性について方向性が掴めてきたので、殴り書きしてみる。 俺はデータを使ってビジネスをいい感じにしていくのがやりたいんだ。 データエンジニアをやりたい訳ではない。アナリティクスエンジニアをやりたいわけでもない。どちらも単体では価値…

Serverless Frameworkで実現するGitHub-flow

三度の飯よりGitHub-Flowが好き GitHub-flowはシンプルなブランチ戦略で、以下のような手順で本番環境に変更を反映する mainブランチからfeatureブランチを作成 変更をコミットし、プルリクエストを作成 レビュワーからの指摘を受けつつ、リモートレポジトリ…

ベトナム2018

散歩をしていたらベトナム料理店を見つけて、ブン・ボー・フエを食べた。 ブン・ボー・フエ。辛いフォーみたいなやつ 私は5年前、18歳の頃にベトナムを旅行した。その時のことは今の自分にとっても結構重要な出来事ではあって、今になって文章に起こすことが…

殺意ドリブン開発

前提:一度生まれたシステムはそう簡単に死なない まず殺意 殺す理由は後でいい 跡形を残さない 前提:一度生まれたシステムはそう簡単に死なない 昔話をしよう。 あるエンジニアがいた。コードを書くことに没頭した男だ。技術的負債が山ほど生み出された。 …

StreamlitをApp Engineにデプロイする

はじめに StreamlitをApp Engineにデプロイすることのメリット AWSのEC2・ECSへのデプロイと比較した場合のメリデメ データの利用者は怠惰なものだからシームレスな認証体験が必要 開発が早い GCPのCloud Runと比較した場合のメリデメ Streamlit in Snowflak…

2023年を振り返る

今年は色々あった。キャリア的にも、キャリアじゃないところでも、色々なことがあった。 キャリア的な 年始の段階ではアナリティクスエンジニアをやっていて、BIの作成や自動化処理を業務領域にしていた。それからはデータエンジニアとなり、データ基盤の移…

排便行為としての日記 : Notionで書き溜めた日記をjarvisx17/japanese-sentiment-analysisで感情分析する

はじめに 僕は日記をNotionで書き溜めている。日記をNotionで書き溜めると便利なことがある。 スマホやiPad、PCなど、媒体を選ばずさまざまなところで記録できる どこでも記録できるため、散歩している途中で思いついた時などに記録できる データはクラウド…

Dagster Cloudで運用するdbt : オーケストレーションツールの技術選定、および4ヶ月運用してわかったメリットとデメリット

はじめに ※この記事は2023年のdbt Advent Calendarの19日目の記事です。 dbt-coreのオーケストレーションツールとしてDagster Cloudを導入してから4ヶ月ほど経った。ここで一度振り返り、普段当たり前のように使っているオーケストレーションツールの存在意…

雑記:はじめての登壇

先週、Snowflake社主催のSnowflake Technical Round Tableというイベントで登壇してきた。 speakerdeck.com 物理・オンライン含めて人生ではじめての登壇なので、日記のような感じでまとめてみたいと思う。 ググっても出てこないタイプのイベントらしい 経緯…

データプラットフォーム統括チーム・マネージャーとして

データに関連する職業を続けてきた傍ら、データがもたらす役割について考えていた。 データはモデルから生まれる。あらゆるモデルは間違っているが、そのうちいくつかは有用である。データはモデルを前提として生成されている。例えば、ユーザーの行動をモデ…

管理人にとっての健常者エミュレータ事例集:社会に対するハクティビズム

始める理由と続ける理由は違う。 2022年の2月、大学卒業直前になって、健常者エミュレータ事例集の取り組みを始めた理由は2つある。 一つは自己顕示欲であり、インターネットの巨大な海の中で自分がここにいると示したかった。情報が濁流となり、歴史の一文…

死と向き合う

大学生に入る直前の頃、パソコンが欲しかった。お金は持っていなかったので、祖父に買ってもらった。それ以来6年祖父には会っていなかった。会う理由がないなら会わなくていいと思っていた。 仕事をしていると、母から「祖父が危篤だから、最後に会っておい…

雑記:スタートアップに来てから1年経った

会社入るまでのあらすじ: contradiction29.hatenablog.com PMFした直後のスタートアップに入社してから大体1年経った。振り返ってみたいと思う。 自分の中で変化したこと 1. 変化への耐性が付いた 「スタートアップは変化が激しい」は一般論だが、何の変化…

雑記:Architecure is Leadership, and Architecture for Leadership

Architecture is Leadership Joe ReisとMatt Housleyの著書『Fundamentals of Data Engineering』はデータエンジニアリングにおける基本的な考え方を網羅的に説明した本で、その中にデータ・アーキテクチャの基本原則を説くチャプターがある。9つある基本原…

ダッシュボード・プロトタイピング:手戻りなくユーザーが本当に欲しいダッシュボードを作るためのHow to

はじめに ダッシュボードをつくるのは難しい。「自分が本当に欲しいダッシュボード」を説明できるユーザーはめったにいない。本当に欲しいダッシュボードの要求定義を聞き出せるアナリスト・エンジニアだってそんなにいるものではない。本当に欲しいものが何…

データアナリストからアナリティクスエンジニアへ:スキルギャップと克服

はじめに 前にも書いたが、「アナリティクスエンジニア」を採用するのは難しい。そもそもアナリティクスエンジニアの知名度が低いし、スキルを持っている人が採用市場に少ない。 しかしニーズはある。以下のようなケースでは、アナリティクスエンジニアはか…

雑記:社内向けアプリケーションをすべて単色アイコンにしている話

ノンデザイナーズ・デザインブックという本がある。 https://www.amazon.co.jp/%E3%83%8E%E3%83%B3%E3%83%87%E3%82%B6%E3%82%A4%E3%83%8A%E3%83%BC%E3%82%BA%E3%83%BB%E3%83%87%E3%82%B6%E3%82%A4%E3%83%B3%E3%83%96%E3%83%83%E3%82%AF-%E7%AC%AC4%E7%89%88-…

楽して構築するアナリティクスエンジニア向けターミナル環境整備【Zsh】

対象読者 dbtなどを触っている/触ろうとしているデータアナリスト 作業効率を上げたいアナリティクスエンジニア はじめに アナリティクスエンジニアを採用するのは難しい。アナリティクスエンジニアの概念を確立したdbtが日本で広まってからまだそんなに年が…

雑記:データ分析パイプラインの「ラストワンマイル」問題をなんとかしたい

データ・パイプラインのラストワンマイル問題 物流業界には「ラストワンマイル」という言葉がある。 ja.wikipedia.org 「交通結節点から最終目的地までの人やモノの移動を表す」用語だそうだ。このラストワンマイルの管理が非常に難しく、Amazonとかヤマト運…

転職一年目エントリ(真面目)

そろそろ転職してから1年たつので、まじめな転職エントリを書く 学生のころ(就活前) 学生の頃(就活) 就職した後 学生のころ(就活前) 学生時代前半の頃は拡大する自意識を持て余していた記憶がある。駅前の宗教勧誘に突撃してウィトゲンシュタインを引…

【データ分析基盤】Notionをデータソースとして使う

はじめに 「Notion*1にしかない情報を使ってダッシュボードを構築してほしい」みたいな需要が出てきた。その需要にこたえるため、Notionからデータを取り込んでSnowflakeに取り込む仕組みを作ってみたら社内で案外評判が良かったので、やり方を記しておきた…