Automated Medical Coding

🚀 プロジェクト名

このプロジェクトは、LAATとPLM - ICDの関連研究を行い、医療データセットに対する分析や実験を提供します。

🚀 クイックスタート

このREADMEでは、プロジェクトの概要、注意事項、構造、および使用した環境について説明します。

⚠️ 重要提示

⚠️ 重要提示

• LAAT と PLM - ICD のトレーニングは不安定になる可能性があります。トレーニング中に損失関数が発散することがあります。この問題は、ラベルレベルのアテンションにおけるsoftmax関数のオーバーフローに起因するようです。softmax関数の前にバッチ正規化またはレイヤー正規化を追加することで、この問題を解決できるかもしれません。再現性研究で元の方法を変更したくなかったため、この問題の修正を試みていません。
• コードは128GBメモリのサーバーでのみテストされています。あるユーザーから、32GBメモリではMIMIC - IVデータセットをメモリにロードできないと報告されています。
• Huggingfaceデータセットにはcollate関数のエラーがあります。アテンションマスクは0ではなく1でパディングされています。論文の結果を再現できるようにするため、この問題の修正は行っていません。

📚 ドキュメント

プロジェクト構造

configs

Hydra を使用して構成管理を行っています。各実験の設定は configs/experiments ディレクトリにあります。また、configs/sweeps にはハイパーパラメータ探索用の設定ファイルがあります。主に Weights and Biases Sweeps を使って実験を行っています。

files

このディレクトリには画像とデータが保存されています。

notebooks

このディレクトリには、コード分析用のノートブックが1つだけ含まれています。このノートブックは他の人向けに設計されたものではありませんが、データ分析結果を検証するための内容が含まれています。

prepare_data

このディレクトリには、データセットの準備と分割生成に必要なすべてのデータ処理コードが含まれています。

reports

ここには、論文の表とグラフを生成するためのコードがあります。このコードはWeights and Biases APIを使って実験結果を取得します。他のユーザーが直接使用することはできませんが、グラフと表を検証するために含まれています。

src

このディレクトリには、実験を実行するためのコードがあります。

tests

このディレクトリにはユニットテストファイルが含まれています。

私の環境設定

私は、128GBメモリ、RTX 2080 Ti（GPUごとに11GB）のマシンでこれらの実験を実行しました。