Linkedin Scraper MCP

🚀 LinkedIn Scraper MCP Server

這是一個基於模型上下文協議（MCP）的服務器，支持手動輸入憑據，能夠對領英（LinkedIn）個人資料進行數據抓取。該服務器可提取包括工作經歷、教育背景、技能和聯繫方式等在內的全面個人資料數據。

✨ 主要特性

• 手動輸入憑據：無需設置環境變量，可在工具調用時直接提供領英憑據。
• 全面數據提取：可抓取姓名、職位、所在地、個人簡介、工作經歷、教育背景、技能和聯繫方式等信息。
• 多種傳輸方式：支持HTTP（生產環境）和STDIO（開發環境）兩種傳輸方式。
• 瀏覽器自動化：使用Selenium WebDriver和Chrome瀏覽器進行可靠的數據抓取。
• 反檢測機制：包含模擬人類操作的延遲和瀏覽器設置，避免被檢測。

📦 安裝指南

1. 安裝依賴項：

npm install

2. 安裝Chrome瀏覽器（若尚未安裝）：

   • 服務器使用Chrome WebDriver，該驅動將自動管理。
   • 確保系統已安裝Chrome瀏覽器。

3. 構建項目：

npm run build

💻 使用示例

HTTP傳輸（推薦）

使用HTTP傳輸啟動服務器：

npm start
# 或者
node dist/index.js

服務器默認在 http://localhost:8080 啟動。

STDIO傳輸（開發環境）

在本地開發中使用STDIO傳輸：

npm run start:stdio
# 或者
node dist/index.js --stdio

命令行選項

• --port <PORT>：指定HTTP服務器端口（默認：8080）
• --stdio：使用STDIO傳輸而非HTTP
• --help：顯示幫助信息

📚 詳細文檔

MCP客戶端配置

將以下內容添加到你的MCP客戶端配置中：

{
  "mcpServers": {
    "linkedin-scraper": {
      "url": "http://localhost:8080/mcp"
    }
  }
}

可用工具

scrape_linkedin_profile

抓取領英個人資料並返回全面的個人資料數據。

參數：

• url（必需）：領英個人資料URL（例如："https://www.linkedin.com/in/username/"）
• email（必需）：用於身份驗證的領英賬戶電子郵件
• password（必需）：用於身份驗證的領英賬戶密碼
• headless（可選）：以無頭模式運行瀏覽器（默認：false）

使用示例：

{
  "tool": "scrape_linkedin_profile",
  "arguments": {
    "url": "https://www.linkedin.com/in/johndoe/",
    "email": "your-email@example.com",
    "password": "your-password",
    "headless": false
  }
}

響應格式：

{
  "success": true,
  "timestamp": "2024-01-01T12:00:00.000Z",
  "profile": {
    "url": "https://www.linkedin.com/in/johndoe/",
    "name": "John Doe",
    "headline": "Software Engineer at Tech Company",
    "location": "San Francisco, CA",
    "about": "Passionate software engineer...",
    "experience_count": 3,
    "experiences": [...],
    "education_count": 2,
    "education": [...],
    "skills_count": 15,
    "skills": [...],
    "websites": [...],
    "email": "john@example.com"
  }
}

開發相關

項目結構

src/
├── index.ts            # 主入口點
├── cli.ts              # 命令行參數解析
├── config.ts           # 配置管理
├── server.ts           # 服務器實例創建
├── client.ts           # 領英數據抓取客戶端
├── types.ts            # TypeScript類型定義
├── tools/
│   ├── index.ts        # 工具導出
│   └── linkedin.ts     # 領英數據抓取工具
└── transport/
    ├── index.ts        # 傳輸方式導出
    ├── http.ts         # HTTP傳輸
    └── stdio.ts        # STDIO傳輸

構建項目

npm run build       # 單次構建
npm run watch       # 構建並監聽文件變化

開發環境運行

npm run dev         # 構建並以HTTP傳輸方式運行
npm run dev:stdio   # 構建並以STDIO傳輸方式運行

安全注意事項

• 憑據處理：領英憑據在工具調用時直接傳遞，不會被存儲。
• 速率限制：抓取器包含模擬人類操作的延遲，避免被封禁。
• 瀏覽器設置：使用真實的瀏覽器設置，減少被檢測的可能性。
• 會話管理：每個抓取會話都是獨立的，並能正確清理。

故障排除

常見問題

1. Chrome驅動問題：服務器會自動管理Chrome WebDriver，但請確保已安裝Chrome瀏覽器。
2. 領英身份驗證問題：如果身份驗證失敗：
   • 驗證領英憑據是否正確。
   • 檢查賬戶是否啟用了雙因素身份驗證。
   • 嘗試先手動登錄以解決安全挑戰。
3. 抓取失敗問題：如果抓取失敗：
   • 嘗試使用 headless: false 運行，查看具體情況。
   • 檢查領英頁面結構是否已更新。
   • 確保網絡連接穩定。
4. 端口衝突問題：如果端口8080已被使用：

node dist/index.js --port 3000

環境變量

可選環境變量：

• PORT：HTTP服務器端口（默認：8080）
• NODE_ENV：設置為 'production' 以啟用生產模式

📄 許可證

本項目僅用於教育和研究目的。請遵守領英的服務條款，並負責任地使用。

貢獻指南

1. 分叉倉庫
2. 創建功能分支
3. 進行修改
4. 全面測試
5. 提交拉取請求

免責聲明

本工具僅用於教育目的。用戶有責任遵守領英的服務條款和適用法律。作者不對軟件的任何濫用負責。