MCP Webpage Timestamps

🚀 MCP Webpage Timestamps

強力なモデルコンテキストプロトコル (MCP)サーバーで、ウェブページの作成、修正、公開タイムスタンプを抽出することができます。このツールは、ウェブスクレイピングやウェブコンテンツの時間的分析に最適です。

🚀 クイックスタート

このツールは、ウェブページのタイムスタンプを抽出するための強力なMCPサーバーです。以下のセクションで、インストール方法や使い方を説明します。

✨ 主な機能

• 包括的なタイムスタンプ抽出：ウェブページから作成、修正、公開タイムスタンプを抽出します。
• 複数のデータソース：HTMLメタタグ、HTTPヘッダー、JSON-LD、マイクロデータ、OpenGraph、Twitterカード、およびヒューリスティック分析をサポートします。
• 信頼度スコアリング：抽出されたタイムスタンプに対して信頼度レベル（高/中/低）を提供します。
• バッチ処理：複数のURLから同時にタイムスタンプを抽出できます。
• 設定可能：タイムアウト、ユーザーエージェント、リダイレクト処理、およびヒューリスティックオプションをカスタマイズできます。
• 本番環境対応：堅牢なエラーハンドリング、包括的なロギング、およびTypeScriptサポートがあります。

📦 インストール

クイックインストール

npm install -g mcp-webpage-timestamps

npxを使用したインストール

npx mcp-webpage-timestamps

Smitheryを経由したインストール

Smitheryを経由して、Claude Desktop用にmcp-webpage-timestampsを自動的にインストールするには、以下のコマンドを実行します。

npx -y @smithery/cli install @Fabien-desablens/mcp-webpage-timestamps --client claude

前提条件

• Node.js 18.0.0以上
• npmまたはyarn

開発用インストール

git clone https://github.com/Fabien-desablens/mcp-webpage-timestamps.git
cd mcp-webpage-timestamps
npm install
npm run build

💻 使用例

基本的な使用法

import { TimestampExtractor } from './src/extractor.js';

const extractor = new TimestampExtractor();
const result = await extractor.extractTimestamps('https://example.com/article');

console.log('Published:', result.publishedAt);
console.log('Modified:', result.modifiedAt);
console.log('Confidence:', result.confidence);
console.log('Sources:', result.sources.length);

高度な使用法

カスタム設定

const extractor = new TimestampExtractor({
  timeout: 15000,
  userAgent: 'MyBot/1.0',
  enableHeuristics: false,
  maxRedirects: 3
});

const result = await extractor.extractTimestamps('https://example.com');

バッチ処理

const urls = [
  'https://example.com/article1',
  'https://example.com/article2',
  'https://example.com/article3'
];

const results = await Promise.all(
  urls.map(url => extractor.extractTimestamps(url))
);

📚 ドキュメント

APIリファレンス

ツール

extract_timestamps

単一のウェブページからタイムスタンプを抽出します。 パラメーター：

• url (文字列、必須)：タイムスタンプを抽出するウェブページのURL
• config (オブジェクト、オプション)：設定オプション

設定オプション：

• timeout (数値)：リクエストのタイムアウト時間（ミリ秒）（デフォルト: 10000）
• userAgent (文字列)：リクエストのユーザーエージェント文字列
• followRedirects (ブール値)：HTTPリダイレクトを追跡するかどうか（デフォルト: true）
• maxRedirects (数値)：追跡する最大リダイレクト数（デフォルト: 5）
• enableHeuristics (ブール値)：ヒューリスティックなタイムスタンプ検出を有効にするかどうか（デフォルト: true）

例：

{
  "name": "extract_timestamps",
  "arguments": {
    "url": "https://example.com/article",
    "config": {
      "timeout": 15000,
      "enableHeuristics": true
    }
  }
}

batch_extract_timestamps

複数のウェブページから一括でタイムスタンプを抽出します。 パラメーター：

• urls (文字列の配列、必須)：タイムスタンプを抽出するURLの配列
• config (オブジェクト、オプション)：extract_timestampsと同じ設定オプション

例：

{
  "name": "batch_extract_timestamps",
  "arguments": {
    "urls": [
      "https://example.com/article1",
      "https://example.com/article2",
      "https://example.com/article3"
    ],
    "config": {
      "timeout": 10000
    }
  }
}

レスポンス形式

両方のツールは、以下の構造を持つJSONオブジェクトを返します。

{
  url: string;
  createdAt?: Date;
  modifiedAt?: Date;
  publishedAt?: Date;
  sources: TimestampSource[];
  confidence: 'high' | 'medium' | 'low';
  errors?: string[];
}

TimestampSource：

{
  type: 'html-meta' | 'http-header' | 'json-ld' | 'microdata' | 'opengraph' | 'twitter' | 'heuristic';
  field: string;
  value: string;
  confidence: 'high' | 'medium' | 'low';
}

サポートされるタイムスタンプソース

HTMLメタタグ

• article:published_time
• article:modified_time
• date
• pubdate
• publishdate
• last-modified
• dc.date.created
• dc.date.modified
• dcterms.created
• dcterms.modified

HTTPヘッダー

• Last-Modified
• Date

JSON-LD構造化データ

• datePublished
• dateModified
• dateCreated

マイクロデータ

• datePublished
• dateModified

OpenGraph

• og:article:published_time
• og:article:modified_time
• og:updated_time

Twitterカード

• twitter:data1（日付情報を含む場合）

ヒューリスティック分析

• datetime属性を持つ時間要素
• テキスト内の一般的な日付パターン
• 日付関連のCSSクラス

🔧 技術詳細

開発用スクリプト

# ホットリロードで開発
npm run dev

# プロジェクトをビルド
npm run build

# テストを実行
npm test

# ウォッチモードでテストを実行
npm run test:watch

# コードをリント
npm run lint

# リントエラーを修正
npm run lint:fix

# コードをフォーマット
npm run format

テスト

このプロジェクトには包括的なテストが含まれています。

# すべてのテストを実行
npm test

# カバレッジ付きでテストを実行
npm test -- --coverage

# 特定のテストファイルを実行
npm test -- extractor.test.ts

コード品質

• TypeScript：厳格な型チェックを伴う完全なTypeScriptサポート
• ESLint：推奨ルールによるコードリント
• Prettier：コードフォーマット
• Jest：単体テストと統合テスト
• 95%以上のテストカバレッジ：包括的なテストスイート

📄 ライセンス

このプロジェクトはMITライセンスの下で公開されています。詳細はLICENSEファイルを参照してください。

サポート

• 問題報告：GitHub Issues
• ディスカッション：GitHub Discussions
• ドキュメント：Wiki

変更履歴

詳細な変更履歴については、CHANGELOG.mdを参照してください。

謝辞

• モデルコンテキストプロトコルの優れたMCPフレームワーク
• HTML解析用のCheerio
• HTTPリクエスト用のAxios
• 日付解析と操作用のdate-fns

貢献方法

貢献を歓迎します！詳細については、Contributing Guideを参照してください。

開発環境のセットアップ

1. リポジトリをフォークします。
2. あなたのフォークをクローンします：git clone https://github.com/Fabien-desablens/mcp-webpage-timestamps.git
3. 依存関係をインストールします：npm install
4. ブランチを作成します：git checkout -b feature/your-feature
5. 変更を加えます。
6. テストを実行します：npm test
7. 変更をコミットします：git commit -m 'Add some feature'
8. ブランチにプッシュします：git push origin feature/your-feature
9. プルリクエストを送信します。

コードスタイル

• 既存のコードスタイルに従ってください。
• すべての新しいコードにTypeScriptを使用してください。
• 新しい機能にはテストを追加してください。
• 必要に応じてドキュメントを更新してください。