Titan Cognitive Memory

🚀 🧠 Titan 内存服务器实现

本项目由 @jasonkneen 和 @ExpressionsBot 携手合作完成。该服务器受 Google Research 论文 "Generative AI for Programming: A Common Task Framework" 的启发，实现了一个神经记忆系统。此系统能够学习和预测序列，通过记忆向量维护状态，遵循论文原理提升代码生成与理解能力。

关注我们的 Twitter：

• jasonkneen
• megaprompt

🚀 快速开始

本项目实现了一个神经记忆系统，受 Google Research 论文启发，可学习和预测序列，维护状态以提升代码生成和理解能力。以下为你介绍项目的安装、使用等相关内容。

📚 研究背景

本实现借鉴了论文中提出的概念：

• 具备增强的序列学习和记忆功能。
• 运用 Surprise 机制进行新颖性检测。
• 采用流形优化来实现稳定的训练过程。
• 通过记忆向量维护状态。

这些特性与论文目标一致，旨在通过更优的记忆和状态管理改进代码理解与生成。

✨ 主要特性

• 可配置维度的神经记忆模型。
• 具备序列学习和预测功能。
• 能进行 Surprise 计算以检测新颖性。
• 支持模型持久化（保存/加载）。
• 拥有状态内存管理功能。
• 集成了完整的 MCP 工具。

📦 安装指南

# 安装依赖项
npm install

# 构建项目
npm run build

# 运行测试
npm test

💻 使用示例

基础用法

// 初始化模型
await callTool('init_model', { inputDim: 64, outputDim: 64 });

// 使用序列进行训练
const sequence = [
  [1, 0, 0, /* ... */],
  [0, 1, 0, /* ... */],
  [0, 0, 1, /* ... */]
];
await callTool('train_sequence', { sequence });

// 运行前向传递
const result = await callTool('forward_pass', {
  x: [1, 0, 0, /* ... */]
});

高级用法

// 可根据具体业务场景，灵活组合 MCP 工具，如先初始化模型，再进行多次训练步骤，最后保存模型
await callTool('init_model', { inputDim: 128, outputDim: 128 });
for (let i = 0; i < 10; i++) {
  await callTool('train_step', {
    x_t: [i, i + 1, i + 2],
    x_next: [i + 1, i + 2, i + 3]
  });
}
await callTool('save_model', {
  path: './saved_model'
});

🔧 技术细节

• 借助 TensorFlow.js 实现高效的张量操作。
• 采用流形优化实现稳定的训练过程。
• 实现 Surprise 机制用于新颖性检测。
• 内存管理采用适当的张量清理。
• 带有类型安全的 MCP 工具定义。
• 维持内存状态之间的操作。

🧪 测试

项目包含全面测试，覆盖范围如下：

• 模型初始化和配置。
• 训练和前向传递操作。
• 内存状态管理。
• 模型持久化。
• 边界情况和错误处理。
• 张量清理和内存管理。

运行测试时使用：

npm test

🔍 实现说明

• 所有张量操作均包装在 tf.tidy() 中，以实现适当的内存管理。
• 实施了适当的错误处理，并带有详细的错误消息。
• 使用类型安全的 MCP 工具定义。
• 维持训练过程中的内存状态。
• 通过 epsilon 容差处理浮点数精度问题。

📄 许可证

本项目采用 MIT License，欢迎自由使用和修改！