ブラックボックスを暴け！
Pythonと行列計算だけでゼロから作る超小型LLM

単語ベクトルから学習ループまで。ChatGPTの裏側で動く「数学の正体」を、ライブラリに頼らず実装することで完全理解する。

「LLM（大規模言語モデル）は、巨大なブラックボックスである」――そう諦めてはいませんか？私のミッションであるデータ駆動型QOL最適化において、AIは意思決定の強力なパートナーです。しかし、その中身を理解せずに「神託」として受け入れるのは、私のデータサイエンス哲学に反します。今回は、PyTorchやTensorFlowといった重厚なライブラリをあえて使わず、PythonとNumPy（行列計算）のみで超小型LLMの核となる仕組みを構築し、AIの「思考の原点」を解剖します。

1. 概念の数値化：単語ベクトル（Embedding）の構築

AIは「言葉」を読みません。彼らが処理するのは常に「数値」です。最初のステップは、言葉を多次元空間上の座標へと変換する分散表現（Word Embedding）の作成です。

[Core Concept]

例えば「睡眠」と「健康」という言葉は、QOL（生活の質）に関連するベクトルとして、多次元空間内で近い位置に配置されます。この「距離」こそが、AIにとっての「意味の類似性」となります。

今回は簡単のため、数語の語彙リスト（Vocabulary）を作成し、それぞれをランダムなベクトルで初期化することから始めます。これが、学習を通じて「意味」を帯びていく種となります。

2. 文脈の魔法：アテンション（Attention）機構の簡略実装

LLMがこれまでのAIと一線を画すのは、Self-Attention（自己注意）という仕組みがあるからです。これは、「文章の中で、どの単語がどの単語に注目すべきか」を動的に計算する行列演算です。

Query (検索): 今見ている単語が、他の単語に何を求めているか。
Key (索引): 各単語がどのような情報を持っているかというラベル。
Value (値): 実際に渡される情報。

これらをドット積（内積）で掛け合わせ、Softmax関数で正規化することで、「次の単語を予測するために必要な情報の重み付け」が完了します。この一連のプロセスは、すべて行列の掛け算だけで表現可能です。

3. 学習ループ：誤差逆伝播と最適化の美学

モデルを賢くするためには、失敗から学ばせる必要があります。ここでは「次にくる単語の予測」と「正解」のズレを交差エントロピー誤差（Cross Entropy Loss）として算出します。

この誤差を逆方向に辿り、各パラメーターを微調整していくプロセスが「バックプロパゲーション（誤差逆伝播法）」です。

            # 学習ループのイメージ (Pseudo-code)

            for epoch in range(iterations):

                logits = model.forward(input_batch)

                loss = calculate_loss(logits, targets)

                gradients = model.backward(loss)

                optimizer.step(gradients, learning_rate)

                print(f"QOL Insight Model Loss: {loss:.4f}")

4. なぜ「ゼロから作る」ことに価値があるのか

最新のGPT-4oやLlama-3をAPI経由で使うのは非常に簡単です。しかし、その「中身」を知ることは、単なる技術的好奇心を超えた意味を持ちます。

透明性と倫理

モデルがどのように意思決定を下しているかを知ることで、バイアスやプライバシーのリスクを自ら評価できるようになります。

最適化の勘所

行列計算の重さを実感することで、より効率的なプロンプトエンジニアリングや、エッジデバイスでのAI活用（Local LLM）の限界点が見えてきます。

意思決定の科学

データから確率的に「最適解」を導き出すプロセスの理解は、そのまま個人のQOLを最大化するための意思決定アルゴリズムへの応用につながります。

結論：AIを「道具」から「理解可能なパートナー」へ

Pythonと数行の行列計算から始まったこの超小型LLMは、最終的には「猫が...」「走る」といった単純な連鎖を予測できるようになります。この小さな一歩こそが、数千億のパラメーターを持つ巨大AIの正体そのものです。

我々がデータサイエンスを通じて実現したいのは、AIに支配される未来ではなく、AIの仕組みを理解した上で主体的にQOLを最大化する社会です。ブラックボックスを開ける勇気を持つことが、その第一歩となるでしょう。

※本実装の完全版ソースコードと数学的証明については、以下の関連リンクにある「意思決定の科学」シリーズも併せてご参照ください。