歯科分野ではNVSは経験が豊富です。

計測テンプレートを用いた効果的な自動計測システムの開発

Efficient measurement method: Development of a System Using Measurement Templates for Orthodontic Measurement Project

（日本ビジュアルサイエンス）古賀玄義*，滝克彦，間杉綾乃
KOGA Harumichi, TAKI Katsuhiko, MASUGI Ayano

Keywords: orthodontics; dental measurement; craniofacial measurement; image measurement; robotic process automation; process automation; cephalogram; computed tomography

1. 緒言

　矯正歯科分野の研究プロジェクトに関わったことが動機となり，私たちは今般，X線CTから得た断層像一式を入力し，歯顎顔面計測を行う専用システムを開発した．
　通常，セファロ画像上の計測点を認識し，計測する作業は人の目と手により行われる．この方法は，医学的専門知識を持った矯正歯科医（以降，doctorと呼ぶ）に多くの手間を強いるという問題があり，大量のデータを処理するには困難が伴う．
　一方，画像認識AIを用いたアプローチでこの問題を解決する試みも近年，行われている(1)．
しかし，完全な認識結果を得るには至っておらず，結局は人による見直しと修正作業を必要としてしまう．
　本システムを開発するにあたり重視したコンセプトは，システム開発者（以降，engineerと呼ぶ）とdoctorからなるチーム，さらには人間とソフトウエアとの協働である．新規に考案した編集可能な計測テンプレートを用いることで，doctorによる簡便な計測点の指示と，engineerによる自動的な計測処理とが，一連の作業フローとして統合される．これによりdoctorの負担を最小限に抑えつつ，大量の画像データの計測を短期間，少人数で効率的に完遂し，500患者2500枚分の確かな計測結果を得ることができた．

2. 画像データについて

　入力に用いたデータは，500名の患者の頭部をX線CT撮像して得られたDICOMファイルである．
CT装置や撮像条件は統一されておらず，撮像視野もまちまちであった．
　セファログラムは本来，頭部骨格を正面および側面からX線透視して得られた二次元画像を指し，遠近法に則った奥行方向への若干の歪みが生じる．本システムでは，数百枚の断層像をボリュームレンダリングしたコンピュータ・グラフィックス画像を用いており, 平行透影で描画しているため, 歪みのない画像となる．
　この画像データは，問題無く歯顎顔面計測に用いることができるが，由来が異なり，セファロ画像と同一のものではないため，「セファロ相当画像」と称している(2)．

3. システムの構成

図1:システムの構成および業務の流れ

　システムの構成，および作業の流れを図1に示す．doctorは仕様の策定と「マーカーの配置」のみを行い，計測作業そのものにはタッチしない点に注目されたい．また，案件の進行の中で要件が変更された場合の対応も，あらかじめ工程に組み込まれており，後述する計測テンプレートを使用することにより，計測点の追加といった仕様変更に柔軟に対応することができるようになっている．

4. 計測用画像の作成の流れ

　受領したDICOMデータを個人情報を排除したRAWボリュームデータに一旦，変換し，それを3次元画像解析ソフトウエアExFact VR(日本ビジュアルサイエンス株式会社)で読み込み，Look Up Table (LUT)の設定，レンダリングするアングルおよび切り出す断面の設定，レンダリング画像の書き出しを行うことで，セファロ相当画像を得る．
　これら一連の処理を500名ぶん手作業で行うと，膨大な作業が必要となる．そこで，RPAを用いた自動化が行われた．RPAとは，画面上のUI要素を認識してクリックする，特定のショートカットを入力するなどの処理の組み合わせにより，GUIインターフェースを持つ既存のソフトウエアの動作を自動化する技術である．今回は，ExFact VRの自動処理オプションで提供されるライブラリと，その関数を呼び出すPythonスクリプトで自動処理を実装した．また，LUTの設定については，ボリュームデータの輝度分布を認識し，自動的に適切なコントラストと不透明度を設定するプログラムを開発した．自動処理スクリプトは各段階で個別に実行することもできるようになっており，中間チェックで，LUTの適用がうまくいっていないデータが確認された場合には，手作業で調整した結果を反映できるようになっている．

▲ 目次へ戻る

5. 計測テンプレートの構成と機能

図 2　計測テンプレートの例

　計測テンプレートの例を図2に示す．計測テンプレートは，レイヤー構造を持った画像ファイルで，フリーウエアGIMPで開くことができる軽いデータであるため，分業する際に好都合である．
　計測テンプレートの中央の領域を計測領域と呼ぶ．計測領域には計測用画像が貼り付けられ，その上に仮に置かれたマーカーをマウス操作で適切な位置に移動させて，計測位置を指定する．計測領域以外の部分をマーカー置き場と呼ぶ．計測領域に置かれたマーカーは座標検出および計測の対象となり，マーカー置き場に置かれたマーカーは無視される．X線CTの撮像視野内に計測ポイントが映っていないデータがしばしばあり，マーカーを除外する場合はこのルールを利用する．
　計測用画像は500名の各患者ごとに正面，側面(左右)，断面(2断面)の5枚ずつ，計2500枚が必要である．doctorに渡す計測テンプレートもこれと同じだけ作らなければならないが，この処理も自動化されている．実装は，GIMP組み込みのPythonシェルスクリプトで行った．

6. 計測業務の流れ

　計測テンプレートが完成したら，それをdoctorに送付する．計測テンプレートを受け取ったdoctorは，マーカー位置の移動を行って計測テンプレートを保存し，engineerに返送する．
　作業済みの計測テンプレートを受け取ったengineerは，それらをレイヤー構造を持たない画像に変換し，計測用専用ソフトウエアに与えて処理して，マーカーの座標及びその座標値から得られるマーカー間の距離に基づく各種計測値を算出する．マーカーは番号に対応する固有の色を持ち、計測時には画像上の特定の色の画素を探してその座標値を得るようになっている．
　doctorには，この結果得られた集計結果のリストが返される．

7. 計測結果の例

図3:計測結果の例

　計測に使ったマーカー配置済みテンプレートと各マーカー間の距離の集計結果の例を図3に示す．
　どのマーカーを利用して，どのように計測を行うかは，あらかじめdoctorから指示を受け，そのルールに基づいて，プログラムを開発した．

▲ 目次へ戻る

8. 結果と評価

　所要時間: プロジェクト期間は1年間，最も活発な時期には3日置きにデータがやり取りされた．計測処理は，500名について患者ごとに62点の49区間，合計24500区間の距離計測と集計処理が数分程度で完了した．
　参加人数: 当初，engineer 3名がソフトウエアを開発，メンテナンスし，最終的にengineer 1名がシステムの運用を行った．マーカーの配置作業は，doctor3名が担当した．
　結果の正確性: 画像認識AI等を利用する場合，専門医が示す計測点と比較して，結果の確からしさ，システムの信頼性の議論が必要だが，本システムで得られるのは，doctorが指し示したマーカーによる計測結果そのものであり，この点は担保されている(3)．マーカーの移動し忘れや取り違えなど，人的なミスがまれに生じたが，異常値により集計時に判明し，差し戻しの上，修正された．

9. 今後の展開

　現時点では，本システムは歯顎顔面計測に特化したためにマーカーの距離を計測する機能のみが実装されているが，この他にも角度，面積の算出や領域抽出などの画像処理もできるように拡張できる．
　また，本システムで採用した，計測テンプレートとマーカーを用いた簡便な画像上の特徴点の指示と非同期的な処理方法は、より広範な分野，例えば工業製品等の検査や画像診断などにも応用可能である．

10. 結言

　業務自動化技術と手作業とを組み合わせたシステムによって，500名分のX線CT撮像データを用いた歯顎顔面計測プロジェクトを少人数で遅滞なく，効率的に遂行し，良質な結果を得ることができた．このシステムは，大量の完全な自動化の難しい，画像認識に基づく計測が必要となる他の分野においても，有効に機能することが見込まれる．

▲ 目次へ戻る

参考文献

(1) Kim H, Shim E, Park J, Kim YJ, Lee U, Kim Y. Web-based fully automated cephalometric analysis by deep learning. Comput Methods Programs Biomed. 2020;194: 105513.
(2) Adel M, Yamaguchi T, Tomita D, Nakawaki T, Kim YI, Hikita Y, et al. Contribution of FGFR1 variants to craniofacial variations in East Asians. PLOS ONE. 2017;12: e0170645.
(3) Hung K, Montalvao C, Tanaka R, Kawai T, Bornstein MM. The use and performance of artificial intelligence applications in dental and maxillofacial radiology: a systematic review. Dento Maxillo Fac Radiol. 2020;49: 20190107.

お問い合わせはこちら