Linkedin Scraper MCP

🚀 LinkedIn Scraper MCP Server

このサーバーは、手動で資格情報を入力してLinkedInのプロフィールをスクレイピングする機能を提供するModel Context Protocol (MCP) サーバーです。経歴、学歴、スキル、連絡先情報など、包括的なプロフィールデータを抽出することができます。

✨ 主な機能

• 手動による資格情報入力：環境変数を必要とせず、ツールの呼び出し時に直接LinkedInの資格情報を提供できます。
• 包括的なデータ抽出：名前、見出し、所在地、自己紹介、経歴、学歴、スキル、連絡先情報などをスクレイピングします。
• 複数のトランスポート方式：HTTP（本番環境）とSTDIO（開発環境）の両方のトランスポートをサポートします。
• ブラウザ自動化：信頼性の高いスクレイピングのために、Chromeを使用したSelenium WebDriverを利用します。
• 検知回避：人間らしい遅延とブラウザ設定を含み、検知を回避します。

📦 インストール

1. 依存関係のインストール：

npm install

2. Chromeブラウザのインストール（未インストールの場合）：
   • サーバーはChrome WebDriverを使用し、自動的に管理されます。
   • システムにChromeブラウザがインストールされていることを確認してください。
3. プロジェクトのビルド：

npm run build

💻 使用例

HTTPトランスポート（推奨）

HTTPトランスポートでサーバーを起動します：

npm start
# または
node dist/index.js

サーバーはデフォルトで http://localhost:8080 で起動します。

STDIOトランスポート（開発用）

STDIOトランスポートを使用したローカル開発の場合：

npm run start:stdio
# または
node dist/index.js --stdio

コマンドラインオプション

• --port <PORT>：HTTPサーバーのポートを指定します（デフォルト: 8080）
• --stdio：HTTPの代わりにSTDIOトランスポートを使用します
• --help：ヘルプメッセージを表示します

📚 MCPクライアントの設定

MCPクライアントの設定に以下を追加します：

{
  "mcpServers": {
    "linkedin-scraper": {
      "url": "http://localhost:8080/mcp"
    }
  }
}

💻 利用可能なツール

scrape_linkedin_profile

LinkedInのプロフィールをスクレイピングし、包括的なプロフィールデータを返します。

パラメーター：

• url（必須）：LinkedInのプロフィールURL（例: "https://www.linkedin.com/in/username/"）
• email（必須）：認証用のLinkedInアカウントのメールアドレス
• password（必須）：認証用のLinkedInアカウントのパスワード
• headless（オプション）：ブラウザをヘッドレスモードで実行します（デフォルト: false）

使用例：

{
  "tool": "scrape_linkedin_profile",
  "arguments": {
    "url": "https://www.linkedin.com/in/johndoe/",
    "email": "your-email@example.com",
    "password": "your-password",
    "headless": false
  }
}

レスポンス形式：

{
  "success": true,
  "timestamp": "2024-01-01T12:00:00.000Z",
  "profile": {
    "url": "https://www.linkedin.com/in/johndoe/",
    "name": "John Doe",
    "headline": "Software Engineer at Tech Company",
    "location": "San Francisco, CA",
    "about": "Passionate software engineer...",
    "experience_count": 3,
    "experiences": [...],
    "education_count": 2,
    "education": [...],
    "skills_count": 15,
    "skills": [...],
    "websites": [...],
    "email": "john@example.com"
  }
}

🔧 開発

プロジェクト構造

src/
├── index.ts            # メインエントリポイント
├── cli.ts              # コマンドライン引数の解析
├── config.ts           # 設定管理
├── server.ts           # サーバーインスタンスの作成
├── client.ts           # LinkedInスクレイパークライアント
├── types.ts            # TypeScriptの型定義
├── tools/
│   ├── index.ts        # ツールのエクスポート
│   └── linkedin.ts     # LinkedInスクレイピングツール
└── transport/
    ├── index.ts        # トランスポートのエクスポート
    ├── http.ts         # HTTPトランスポート
    └── stdio.ts        # STDIOトランスポート

ビルド

npm run build       # 一度だけビルド
npm run watch       # ビルドし、変更を監視

開発環境での実行

npm run dev         # ビルドしてHTTPトランスポートで実行
npm run dev:stdio   # ビルドしてSTDIOトランスポートで実行

🔒 セキュリティに関する考慮事項

• 資格情報の取り扱い：LinkedInの資格情報はツールの呼び出し時に直接渡され、保存されません。
• レート制限：スクレイパーには人間らしい遅延が含まれており、ブロックされるのを回避します。
• ブラウザ設定：検知を最小限に抑えるため、現実的なブラウザ設定を使用します。
• セッション管理：各スクレイピングセッションは分離され、適切にクリーンアップされます。

🛠️ トラブルシューティング

一般的な問題

1. Chrome Driverの問題：サーバーはChrome WebDriverを自動的に管理しますが、Chromeブラウザがインストールされていることを確認してください。
2. LinkedInの認証：認証に失敗した場合：
   • LinkedInの資格情報が正しいことを確認してください。
   • アカウントで2要素認証が有効になっているか確認してください。
   • 最初に手動でログインして、セキュリティ上の問題を解決してみてください。
3. スクレイピングの失敗：スクレイピングに失敗した場合：
   • headless: false で実行して、何が起こっているかを確認してみてください。
   • LinkedInのページ構造が更新されていないか確認してください。
   • 安定したインターネット接続を確保してください。
4. ポートの競合：ポート8080が使用中の場合：

node dist/index.js --port 3000

環境変数

オプションの環境変数：

• PORT：HTTPサーバーのポート（デフォルト: 8080）
• NODE_ENV：本番モードの場合は 'production' に設定します。

📄 ライセンス

このプロジェクトは教育および研究目的です。LinkedInの利用規約を尊重し、責任を持って使用してください。

👥 コントリビュート

1. リポジトリをフォークします。
2. 機能ブランチを作成します。
3. 変更を加えます。
4. 十分にテストします。
5. プルリクエストを送信します。

📢 免責事項

このツールは教育目的のみで使用されることを想定しています。ユーザーはLinkedInの利用規約および適用される法律を遵守する責任があります。作者はこのソフトウェアの誤用について一切の責任を負いません。