Titan Cognitive Memory

🚀 🧠 Titan 內存服務器實現

本項目與 @jasonkneen 和 @ExpressionsBot 合作完成。此服務器受 Google Research 論文 "Generative AI for Programming: A Common Task Framework" 的啟發，實現了一個神經記憶系統。該系統能夠學習和預測序列，並通過記憶向量維護狀態，遵循論文中提出的原理，旨在提高代碼生成和理解能力。

關注我們 Twitter:

• jasonkneen
• megaprompt

🚀 快速開始

本實現借鑑了論文中提出的概念，帶有增強的序列學習和記憶功能，使用 Surprise 機制進行新穎性檢測，採用流形優化實現穩定的訓練過程，並通過記憶向量維護狀態。這些特性與論文目標一致，即通過更好的記憶和狀態管理來改進代碼理解和生成。

✨ 主要特性

• 可配置維度的神經記憶模型：能夠根據需求靈活配置維度。
• 序列學習和預測功能：有效學習和預測序列。
• Surprise 計算以檢測新穎性：及時發現新情況。
• 模型持久化（保存/加載）：方便保存和恢復模型。
• 狀態內存管理：合理管理內存狀態。
• 完整 MCP 工具集成：提供豐富工具支持。

📦 安裝指南

# 安裝依賴項
npm install

# 構建項目
npm run build

# 運行測試
npm test

💻 使用示例

基礎用法

// 初始化模型
await callTool('init_model', { inputDim: 64, outputDim: 64 });

// 使用序列進行訓練
const sequence = [
  [1, 0, 0, /* ... */],
  [0, 1, 0, /* ... */],
  [0, 0, 1, /* ... */]
];
await callTool('train_sequence', { sequence });

// 運行前向傳遞
const result = await callTool('forward_pass', {
  x: [1, 0, 0, /* ... */]
});

📚 詳細文檔

可用的 MCP 工具

1. 🎯 init_model

使用自定義配置初始化 Titan 內存模型。

{
  inputDim?: number;  // 輸入維度（默認：64）
  outputDim?: number; // 輸出/記憶維度（默認：64）
}

2. 📚 train_step

使用當前和下一個狀態向量執行單步訓練。

{
  x_t: number[];    // 當前狀態向量
  x_next: number[]; // 下一個狀態向量
}

3. 💡 forward_pass

使用輸入向量通過模型運行一次前向傳遞。

{
  x: number[]; // 輸入向量
}

4. 💾 save_model

將模型保存到指定路徑。

{
  path: string; // 要保存模型的路徑
}

5. 📂 load_model

從指定路徑加載模型。

{
  path: string; // 加載模型的路徑
}

6. ℹ️ get_status

獲取當前模型狀態和配置信息。

{} // 沒有參數要求

7. 🔄 train_sequence

使用向量序列訓練模型。

{
  sequence: number[][]; // 要訓練的向量數組
}

🔧 技術細節

• 使用 TensorFlow.js 實現高效的張量操作。
• 採用流形優化實現穩定的訓練過程。
• 實現 Surprise 機制用於新穎性檢測。
• 內存管理使用適當的張量清理。
• 帶有類型安全的 MCP 工具定義。
• 維持內存狀態之間的操作。

🧪 測試

項目包含全面測試，覆蓋模型初始化和配置、訓練和前向傳遞操作、內存狀態管理、模型持久化、邊界情況和錯誤處理、張量清理和內存管理等方面。運行測試時使用：

npm test

🔍 實現說明

• 所有張量操作都包裝在 tf.tidy() 中以實現適當的內存管理。
• 實施適當的錯誤處理並帶有詳細的錯誤消息。
• 使用類型安全的 MCP 工具定義。
• 維持訓練過程中的內存狀態。
• 通過 epsilon 容差處理浮點數精度問題。

📄 許可證

本項目採用 MIT License，歡迎自由使用和修改！