Lilith Emails

🚀 Lilith Email System

Gmail同期デーモンと、セマンティックなメール検索用のLilithエージェントツールです。プライバシーに配慮した分類とPII（個人識別情報）のサニタイズ機能を備えています。

🚀 クイックスタート

1. データベース (共有Postgres)

このプロジェクトでは、共有のPostgreSQLサーバーを使用しています。このアプリケーションのデータベース名は lilith_emails です。

pgvectorを備えた共有Postgresが実行されていることを確認してください。まずはlilith-composeプロジェクトをクローンしてください。

2. マイグレーションの実行

uv run alembic upgrade head

3. Gmailアカウントの追加

Google Cloud Console からOAuthクライアントシークレットをダウンロードしてから、以下のコマンドを実行します。

uv run python main.py add-account path/to/client_secrets.json

4. 同期 (ダウンロードのみ)

uv run python main.py sync 1

ログには進行状況が表示されます。取得したページ数、保存したメッセージ数、これまでの合計数が表示されます。

5. 変換 (分類 + サニタイズ + 埋め込み)

同期の後に実行して、保存されたデータから privacy_tier、body_redacted、および多レベルの埋め込み（件名、本文またはチャンク）を生成します。モデルやロジックを変更した場合はいつでも再実行できます（再ダウンロードは不要）。

uv run python main.py transform 1

変換コマンドによって追加されたすべての派生列をクリーンアップします。

uv run python main.py reset-transform 1

6. 同期デーモンの実行 (Pub/Subウェブフック)

uv run python main.py serve

デーモンがGmail Pub/Subプッシュを受信すると、そのアカウントに対してインクリメンタル同期と変換を自動的に実行します。

公開URLがない場合（ローカル開発）： プッシュの代わりに プル を使用します。プルサブスクリプションを作成し、.env ファイルに PUBSUB_SUBSCRIPTION を設定してから、以下のコマンドを実行します。

gcloud auth application-default login
uv run python main.py watch 1
# 別のターミナルで、通知をポーリングします（ウェブフックと同じ同期+変換）:
uv run python main.py pull

プルサブスクリプションを作成します（トピックと同じプロジェクト内）:
gcloud pubsub subscriptions create lilith-emails-pull --topic=gmail-topic --project=lilithsync

公開URLがある場合： プッシュ サブスクリプションを使用します（エンドポイント = あなたの公開 /webhook/gmail URL）。デーモンを uv run python main.py serve で実行します。一度だけウォッチを登録します: uv run python main.py watch <account_id>（.env ファイルに GOOGLE_CLOUD_PROJECT と PUBSUB_TOPIC が必要）。

ウォッチが403を返す場合： Gmailにあなたのトピックに公開する権限を付与します。

gcloud pubsub topics add-iam-policy-binding gmail-topic \
  --member="serviceAccount:gmail-api-push@system.gserviceaccount.com" \
  --role="roles/pubsub.publisher" \
  --project=lilithsync

ウェブフックのローカルテスト

Gmailを使用せずに、シミュレートされたPub/SubペイロードをPOSTすることで同じパスをトリガーすることができます。まずは完全同期を実行して、アカウントに last_history_id があることを確認してから、デーモンを起動して以下のコマンドを送信します。

# 別のターミナルでデーモンを起動します: uv run python main.py serve --port 8000

# YOUR_EMAILとHISTORY_IDを置き換えます（例: データベースから: email_accounts.last_history_id）
# ポータブル（すべてのOS）:
python3 -c "
import base64, json, urllib.request
d = base64.b64encode(json.dumps({'emailAddress':'YOUR_EMAIL','historyId':'HISTORY_ID'}).encode()).decode()
urllib.request.urlopen(urllib.request.Request('http://localhost:8000/webhook/gmail', data=json.dumps({'message':{'data':d}}).encode(), headers={'Content-Type':'application/json'}, method='POST'))
print('OK')
"

またはcurlを使用します（Linux: base64 -w0を使用; macOS: base64を使用）。

B64=$(echo -n '{"emailAddress":"YOUR_EMAIL","historyId":"HISTORY_ID"}' | base64)
curl -s -X POST http://localhost:8000/webhook/gmail -H "Content-Type: application/json" -d "{\"message\":{\"data\":\"$B64\"}}"

デーモンはそのアカウントに対してインクリメンタル同期と変換を実行します。get-email またはMCPツールを使用して、新しいまたは更新された行を確認してください。

📚 設定

環境変数（.env またはシェル）:

変換では capabilities.json を使用します。変換の前に uv run python main.py capabilities を実行して、ファイルが存在し、embedding.max_tokens、vllm.model_id、spacy_api.available、および fasttext_langdetect.available が含まれていることを確認してください。変換には環境変数のフォールバックはありません。transform_completed_at が設定されているメールは、--force を使用しない限りスキップされます（確認を求められます）。変換が途中で失敗した場合、それらのメールは次回に再試行されます。

📚 MCPサーバー (エージェントツール)

Lilith Email MCPサーバーは、変換されたGmailを公開します。

uv run mcp
uv run mcp --transport streamable-http --port 6201

MCPツール

すべてのレスポンスは 外部 プライバシーを使用します。機密内容は非表示になり、個人用内容はサニタイズされて表示されます。