Automated Medical Coding

🚀 項目概述

本項目聚焦於特定的研究實驗，不過在訓練過程中存在一些不穩定因素，同時對運行環境有一定要求。下面將詳細介紹項目的結構、注意事項以及運行配置等內容。

⚠️ 重要提示

• LAAT 和 PLM - ICD 的訓練可能不穩定，損失函數在訓練過程中有時會發散，此問題似乎源於標籤級注意力中 softmax 函數的溢出。在 softmax 函數之前添加批歸一化或層歸一化可能會解決該問題，但由於不想在 reproducibility 研究中更改原始方法，因此未嘗試修復。
• 代碼僅在配置為 128 GB 內存的服務器上測試過，有用戶報告使用 32 GB 內存時無法將 MIMIC - IV 數據集加載到內存中。
• Huggingface 數據集中存在 collate 函數錯誤，注意力掩碼用 1 進行填充而不是 0。為了讓人們能夠再現論文中的結果，尚未修復此問題。

📚 詳細文檔

項目結構

configs

我們藉助 Hydra 進行配置管理。每個實驗的配置存於 configs/experiments 目錄下，同時在 configs/sweeps 中可找到用於超參數搜索的配置文件。我們主要運用 Weights and Biases Sweeps 開展實驗。

files

該目錄用於存儲圖像和數據。

notebooks

此目錄僅包含一個用於代碼分析的筆記本，雖並非為他人設計，但已包含可供他人驗證數據分析結果的內容。

prepare_data

該目錄涵蓋了所有用於準備數據集和生成分割的數據處理代碼。

reports

這裡存放著用於生成論文中標表和圖表的代碼，該代碼通過 Weights and Biases API 獲取實驗結果。雖無法直接供其他用戶使用，但已包含以便他人驗證我們的圖形和表格。

src

此目錄存放運行實驗的代碼。

tests

該目錄包含單元測試文件。

我的配置

我在一臺配置為 128 GB 內存、RTX 2080 Ti（每張 GPU 卡 11GB）的機器上運行了這些實驗。