Titan Cognitive Memory

🚀 🧠 Titan メモリサーバー実装

@jasonkneen と @ExpressionsBot との共同開発です。

Twitterで私たちをフォローしましょう:

• jasonkneen
• megaprompt

Google Researchの論文 "Generative AI for Programming: A Common Task Framework" からインスピレーションを得て、このサーバーはニューラルメモリシステムを実装しています。このシステムはシーケンスの学習と予測が可能で、メモリベクトルを通じて状態を維持し、論文で提案された原理に従ってコード生成と理解を向上させます。

📚 研究背景

この実装は論文で提案された概念を参考にしています:

• 強化されたシーケンス学習とメモリ機能
• 新規性検出のための Surprise メカニズムの使用
• 安定したトレーニングプロセスを実現するための多様体最適化の採用
• メモリベクトルによる状態の維持

これらの特性は、より良いメモリと状態管理によってコード理解と生成を改善するという論文の目標と一致しています。

✨ 主な機能

• 次元を設定可能なニューラルメモリモデル
• シーケンス学習と予測機能
• 新規性を検出するための Surprise 計算
• モデルの永続化（保存/読み込み）
• 状態メモリ管理
• 完全な MCP ツールの統合

📦 インストール

# 依存関係のインストール
npm install

# プロジェクトのビルド
npm run build

# テストの実行
npm test

🛠️ 利用可能な MCP ツール

1. 🎯 init_model

カスタム設定で Titan メモリモデルを初期化します。

{
  inputDim?: number;  // 入力次元（デフォルト：64）
  outputDim?: number; // 出力/メモリ次元（デフォルト：64）
}

2. 📚 train_step

現在と次の状態ベクトルを使用して単一ステップのトレーニングを実行します。

{
  x_t: number[];    // 現在の状態ベクトル
  x_next: number[]; // 次の状態ベクトル
}

3. 💡 forward_pass

入力ベクトルを使用してモデルを通じて1回の順伝播を実行します。

{
  x: number[]; // 入力ベクトル
}

4. 💾 save_model

モデルを指定されたパスに保存します。

{
  path: string; // モデルを保存するパス
}

5. 📂 load_model

指定されたパスからモデルを読み込みます。

{
  path: string; // モデルを読み込むパス
}

6. ℹ️ get_status

現在のモデルの状態と設定情報を取得します。

{} // パラメータは不要

7. 🔄 train_sequence

ベクトルシーケンスを使用してモデルをトレーニングします。

{
  sequence: number[][]; // トレーニングするベクトルの配列
}

💻 使用例

基本的な使用法

// モデルの初期化
await callTool('init_model', { inputDim: 64, outputDim: 64 });

// シーケンスを使用したトレーニング
const sequence = [
  [1, 0, 0, /* ... */],
  [0, 1, 0, /* ... */],
  [0, 0, 1, /* ... */]
];
await callTool('train_sequence', { sequence });

// 順伝播の実行
const result = await callTool('forward_pass', {
  x: [1, 0, 0, /* ... */]
});

🔧 技術詳細

• TensorFlow.js を使用した効率的なテンソル操作の実装
• 安定したトレーニングプロセスを実現するための多様体最適化の採用
• 新規性検出のための Surprise メカニズムの実装
• 適切なテンソルクリーニングによるメモリ管理
• 型安全な MCP ツールの定義
• メモリ状態間の操作の維持

🧪 テスト

このプロジェクトには包括的なテストが含まれており、以下をカバーしています:

• モデルの初期化と設定
• トレーニングと順伝播操作
• メモリ状態管理
• モデルの永続化
• 境界条件とエラー処理
• テンソルクリーニングとメモリ管理

テストを実行するには:

npm test

🔍 実装の説明

• すべてのテンソル操作は tf.tidy() でラップされ、適切なメモリ管理が行われます。
• 適切なエラー処理が実装され、詳細なエラーメッセージが表示されます。
• 型安全な MCP ツールの定義が使用されています。
• トレーニングプロセス中のメモリ状態が維持されます。
• イプシロン許容範囲による浮動小数点数の精度問題の処理

📄 ライセンス

MIT License - 自由に使用し、修正してください！