ポスト3Dイメージングのアプリケーション

Applications for post 3D Imaging

(日本ビジュアルサイエンス)滝 克彦*,古賀玄義,間杉綾乃,登丸彩子
TAKI Katsuhiko, KOGA Harumichi, MASUGI Ayano, TOMARU Ayako


Keywords: 3D reconstruction, volume rendering, image processing, porous media, fiber, composite material
3DMA(medial axis), X-ray CT, FIB SEM
 

 

目次

1. 緒言
2. 3D画像に関する基礎知識
2.1 断層画像の位置合わせ
2.2 3D画像とソフトウエア技術
2.3 ヒストグラムの評価
2.4 二値化処理とラベリング
3. 3D画像解析の事例
3.1 複合材料の大局的構造評価
3.2 画像データの領域抽出
3.3 空隙・粒子の形状による分類
3.4 空隙・粒子の球状化率算出
3.5 空隙・粒子の方向性の分析
3.6 Watershedによる画像領域の分割
3.7 経時変化の画像解析
4. 3D複雑構造の画像解析
5. 繊維構造の解析
6. 多孔体材料の三次元画像解析
7. 結言
参考文献

1. 緒言

 X線CTやFIB SEMを始めとする様々なイメージング装置からは通常,連続的な断層画像一式が出力される.デジタルの三次元的な画像情報をソフトウエアを利用し,対象や目的に応じて可視化・計測・解析・評価・解釈・定量化・変換することが求められている.工業製品や材料等の分析に有用な昨今の3Dイメージング以降のアプリケーションと技術について,ソフト屋の立場で概説する.

2. 3D画像に関する基礎知識

2.1 断層画像の位置合わせ

 FIB SEMや連続切片から得られた断層画像を用いて3D構築を行うには,位置合わせが前処理として必須である.弊社では,様々なアルゴリズムによる位置合わせ手法をソフトウエア化したが(1),テンプレートマッチングを用いた実装がこの用途に対して,最も優秀で実用的なアルゴリズムであった.
 ソフトウエア内部では,1枚目と2枚目,2枚目と3枚目といったように隣接する画像データ間において,次の断層画像にも類似のテクスチャが現れると仮定して,連続的にテンプレートマッチングを繰り返すことで処理が進行する.
 自動処理だけでは,必ずしもうまくいかないのが現実であるため,手動による修正を組み合わせて,良好な操作性で位置合わせできること,また入力される画像が必ずしも良質とは限らないため,輝度ムラ補正やノイズ低減などの前処理を効率良く行えることも,この種の業務を行う上で,必要な要件である.

2.2 3D画像とソフトウエア技術

図1:X線CT〜MPR/VR/LUTのワークフロー
図1 3Dイメージング(撮像)から可視化まで

三次元の画素をボクセル(voxel),断層像を連続的に積層したデータ構造をボリュームデータと言う.ボクセルには, 8bit(2^8=256階調)のように深度(depth)を持つ輝度値が格納され,デジタル画像であるが故にPartial Volume Effectによる 曖昧なボケ成分も含んだ情報の持ち方をしている.ボリュームデータは単なる輝度値の三次元配列に過ぎず, 撮像装置から得られた画素サイズを乗じて単位系を付すと,実寸相当の寸法と対応する.
3D画像の可視化技術としては,ボリュームレンダリングが知られており,コンピュータ・グラフィックスによって不定形な 物体や空間を容易に美しく描画することができる.二次元の断層像の表現は,MPR(Multi Planer Reconstruction)画像がよく使用される.
入力されたボリュームデータのヒストグラムに対して,色や不透明度(opacity)の変化を折れ線状に定義することで, 画素各々の属性が決定され,可視化が行われる.こうしたユーザーインターフェースをLook Up Table(LUT)と言っている. LUTを適切に調整することで,着色や半透明表示を駆使し,内部構造を描画したり,観察したい部分に任意にコントラストを 設定し,動的に画像を変化させて見ることができる.

 

2.3 ヒストグラムの評価

図2 3D画像のヒストグラム
図2 3D画像のヒストグラム

 横軸に輝度値,縦軸に画素数をとり,度数分布を描くと,グレースケール画像についてのヒストグラムをプロットすることができる.ヒストグラムはイメージングされた空隙やマテリアルの輝度成分が合成された分布を表している訳なので,各成分を解釈すると,量的な評価ができたり,二値化処理の際の閾値(threshold)をルールを設けて安定的に決定できるなど,画像解析をする際に利便性が高い.
 図2の例では,ヒストグラムを正規分布でフィッティングし,樹脂とガラス繊維の2成分が交差する輝度値で閾値を設定した場合と正規分布を根拠に算出した体積比を比べている.実務では,このように各成分の混合や程度に基づいて閾値を設定するが,複雑な構造になればなる程,輝度成分が近接・複合し,単純な閾値設定が難しくなるので,的確な分析を行うために画像データに加えて,複合材料であれば,重量比,体積比といった,試料に関するできるだけの情報を収集し,参考値として参照・考慮しながら画像解析を行う.

 

2.4 二値化処理とラベリング

図3 二値化とラベリング処理
図3 二値化とラベリング処理

 ユーザーが着目する画像中の関心領域(ROI: Region of Interest)を分離/抽出するには,二値化(binarize)やsegmentation(画像領域の抽出)を行う.この手の画像処理は,1回の単純な閾値設定だけでうまくいくことはあまりなく,時には手作業も要するため,ソフトウエア製品の実装やユーザーの知識・経験に関係する画像処理上のノウハウとなっている.
 認識した画像領域に関して通常,ラベリング(labeling)処理が行われる.元画像に加えてラベル情報を保持することで,粒子,空隙などの要素を個別に識別することが可能となり,数を数える,体積を求める,色分けするといった処理が行えるのである.

▲ 目次へ戻る

 

3. 3D画像解析の事例

 

3.1 複合材料の大局的構造評価


図4:ガラス短繊維の分布評価 
図4 ガラス短繊維の分布評価

 イメージング装置が年々,高性能化してもデジタル画像の解像度は有限であり,高分解能と広視野は原理的に両立しない.イメージングにより明瞭な可視化,二値化や関心領域の抽出が困難な場合でも,また個別構造に着目しなくても,輝度値から得られたヒストグラムや統計値を比較評価することで,ばらつき,偏りや変化といった複合材料の大局的な構造を簡便かつ有意に推定/評価できる可能性がある.筆者らはこうした方法を検討し(2),手順とユーザーインターフェースをソフトウエア化した.
 図4は単純二値化した図2の3D画像を用いて,画像解析した結果である.筆者らは,X線CTを用いて,射出成形された樹脂成形品中のφ10μmのガラス短繊維を可視化,解析する手法を確立し,スキン/コア層に関する繊維配向の定説を検証した(3).この場合,薄板状の成形品から採取した試験片をX線CT撮像後,等方的なボリュームデータを切り出し,繊維の粗密とばらつきをXYZ各方向について対等に比較し,評価指標を設けることで,この材料の異方性について,有意な分析結果を導いている.

3.2 画像データの領域抽出


図5:鋳鉄鋳物の黒鉛粒子解析
図5 鋳鉄鋳物の黒鉛粒子解析

 図5は,鋳鉄鋳物から採取した試験片をX線CTで撮像し,内部の黒鉛粒子を3D可視化した画像である.凝固時間が長くなるに従って,粒子が凝集し,体積と表面積が大きく,より複雑な構造を持つチャンキー黒鉛が形成されることを明らかにした(4).
 ラベリング処理を行い,粒子を個別に認識し,有効直径に応じて色分け,量的評価をすることで,三者の構造の違いを効果的に可視化し,説明した.

3.3 空隙・粒子の形状による分類

図3 二値化とラベリング処理
図6 アルミダイカスト鋳巣の形状別分類

 図6はアルミダイカスト鋳巣を形状により分類して可視化した画像である.筆者らは,少ない計算量で不定形状をした空隙,粒子等を形状因子により,良好に分類するロバストな計算方法を考案した(5).
 細長い鋳巣が放射状に分布している構造は,成形時の湯流れの影響を受けた結果と推定される.巻込み巣は気泡が固まって形成されるため,丸い形状になり易いと言われている.一方,引け巣は複雑形状を呈することが多い.無論,こうした識別が必ずしも正確に鋳巣の由来を示すとは限らないが,鋳巣が多いか少ないかといった量的な評価に留まっていることが多い検査・分析業務において,このように形状による分類と可視化は,データの解釈において有用な示唆を与える.

 

3.4 空隙・粒子の球状化率算出


図7:球状黒鉛鋳鉄の球状化率算出
図7 球状黒鉛鋳鉄の球状化率算出

 さらに球状黒鉛鋳鉄のX線CT画像から,JIS G 5502に規定されている球状化率の分析を三次元的に実施した(5).図7は黒鉛粒子1個1個について,直交する3方向の重心モーメントの比を求めてプロットした散布図である.重心モーメントは,不定形状の固有ベクトルから求めた直交する3軸方向の長さに相関する値である.

3.5 空隙・粒子の方向性の分析


図8:平板状粒子の法線方向の図示
図8 平板状粒子の法線方向の図示

図9:粒子の方向性図示のルール
図9 粒子の方向性図示のルール

 図8は不定形状をした粒子が混ざった複合材料において,平板状をした粒子のみを選抜し,法線方向を算出して,5×5×5の区画に分割した単位空間あたりの平均的な配向性を矢印で示した画像である(6).
 方向性の算出は,図9の通り,細長い/平たい粒子どちらかについて可能である.矢印の長さは配向の強さを,矢印の色は粒子の粗密を表す.

3.6 Watershedによる画像領域の分割

図10 水素吸蔵合金充填層のWatershed分割
図10 水素吸蔵合金充填層のWatershed分割

 複雑構造を持つマテリアルは,イメージングはできても画像解析で困るケースが少なくない.つながった複雑構造をルールに基づいて分離・抽出する画像処理手法が有効な場合がある.
 奥村らは,水素吸蔵合金充填層をX線CT撮像し,水素を吸い込み,微粉化が進展していく過程をCT撮像し,画像解析を行うことで現象を段階的に解析した(7).層状に堆積した粒子群をWatershedにより分離することで個別に認識し,数値化を実現した(図10).

 

3.7 経時変化の画像解析

図11 圧縮した球状軟素材の体積変化算出
図11 圧縮した球状軟素材の体積変化算出

 図11は,X線CT装置内に小型試験機を設置し,軟素材でできたボールを圧縮している様子をIn-situ観察した画像である.ボリュームデータ同士の位置合わせを行い,ボールの画像領域をsegmentationし,ラベル情報間の差分をとって,体積の変化を比較した.ボールが潰された結果,鉛直方向には体積が大きく減少し,水平方向には膨張していることを計測した.

▲ 目次へ戻る

 

4. 3D複雑構造の画像解析

図12 マトリクス側に着目した画像解析
図12 マトリクス側に着目した画像解析

 図12は図2, 図4と同一のGFRPのデータを用いて,マトリクス(母材)である樹脂側に着目して三次元画像解析した結果である.ここでは2種類の手法を用いている.
 (a) Local Thicknessは,図のように三次元形状の各箇所,総当たり式に内接する最大径を持つ球をフィッティングし,その直径を厚みとみなすアルゴリズムである.
 (b) Distance Mapは,二値化処理が済んだ三次元画像領域のボクセルにエッジ部(表面)から順に1, 2, 3…と番号をふる.値は整数値で,内側にいくに従って,大きな値を持つ.内部に空隙等の空間がもし存在したら,それも表面とみなす.
 これらの演算は不定形状,複雑構造に対しても問題無く処理ができ,結果的に各ボクセルに対応する値が得られるので,色分けした可視化画像を作成したり,ヒストグラムを描いたり,数値を単位系に換算することも容易である.
 この例のように不規則につながった一見,とらえどころの無い不定形状でも,一定のルールの元で処理して得られた情報を比較評価すれば,厚み,表面,深さ,複雑さといった視点で試料ごとの違いやその程度、構造的特徴がみえてくる.その際,ソフトウエア内部で行われている処理と,得られた数値情報の意味をある程度,おさえて統計的に解釈していくことが肝要である.

▲ 目次へ戻る

 

5. 繊維構造の解析

図13 不織布繊維構造の解析
図13 不織布繊維構造の解析

 細長い繊維について,安定的に画像解析が可能なデータを取得しようと思うと高分解能撮像を目指すことになり,自ずと視野は狭くなる.結果として,視野を跨ぐ繊維は長さが不定,視野外に出た構造は不明となってしまう.画像データから繊維解析を実施するためには,これらが制約と留意点である.
 図13に繊維解析の例を示す.三次元の視野内で,複雑に交差,分岐する繊維1本1本を個別に認識するには,細線化(skeletonize)処理を行う(図13(a)).繊維の評価指標としては,経路長と直線的な最短距離との比 Tortuosity (迂回度/屈曲度)をしばしば用いる(図13(b)).図13(c), 図13(d)では,繊維長とTortuosityにより分類した繊維を4分割されたMIP(最大輝度投影)画像でそれぞれ表した.ここでは,両端が視野内に含まれる繊維のみを選抜し,長さ25画素相当(≒156μm)以下の細線化構造を除外し,解析対象を限定した.
 図13(e)は,図13(d)と同様にTortuosityにより分類,色分けされた繊維群全体の方向性を示している.繊維の方向は,三次元ベクトルに変換し,長さ1.0に正規化した上で一方の端点を中心に置き,他方の端点を視線方向からみた円形の投影面にプロットして表した.
 図13(f)は,Tortuosityと繊維長さの関係を散布図で表している.右縦軸は,散布図と重ねたヒストグラムに対応し,繊維の本数に重みとして長さを乗じた度数分布を意味している.

▲ 目次へ戻る

 

6. 多孔体材料の三次元画像解析

図14:多孔質地質材料の3D解析
図14 多孔質地質材料の3D解析

図15:リチウムイオン電池電極材料の導電パス解析
図15 リチウムイオン電池電極材料の導電パス解析

 

表1:多孔体構造の主な評価指標
表1 多孔体構造の主な評価指標

 

 多孔体材料の利用シーンを想定すると,空隙を通過する流体の透過や拡散が材料の機能や性能を特徴付ける因子と考えられる.無論,独立孔はこうした働きに寄与しない.この種のマテリアルを画像解析する場合,特にそのネットワーク構造に着目する.
 我々のソフトウエアでは,3DMA(Medial Axis)と称する手法を用いて,3D画像を細線化し,そのネットワーク構造を記述・解釈することによって,粒子や空隙の形態や分布を統計的に評価/分析することができる(8).
 3DMAでは,二値化した3D画像の空隙/マテリアルいずれかに対して,内包する球体を定義し,少なくとも2点で接するまで,その径を大きくしていった時,球の中心を連続的に結んだ軸をMedial Axis(MA, 中心軸)と呼ぶ.MAは三次元的につながったネットワーク構造を抽象化したスケルトンモデルとみなすことができる.さらにMAの経路に沿って連通する空隙について,細くくびれた部分に多面体を近似し,これをThroatと定義する.連通孔を流体が通る場合に,くびれ部分がボトルネックとなることから,Throatの面積を求めて,これを多孔体の連通性を評価する指標のひとつとして採用する.そして,つながった空隙をThroatで仕切ることにより,分割された空隙(Nordal Pore)を認識し,その体積を算出する.多孔体解析の典型的なフローを図14に,得られる評価指標の一部を表1に示す.
 筆者らは,リチウムイオン電池の電極材料に多孔体解析を適用し,Tortuosityを求めて,導電パスの評価指標とした(9).図15は空隙のネットワーク構造を細線化した結果である.上面から下面に至る経路を抽出し,右図2つは断層像を指定方向に投影して得られるMIP画像で示している.方向と入口を限定すると,各経路はお互いにつながっておらず,上面からみると一定の範囲を占有して広がっていることが分かる.

 

▲ 目次へ戻る

7. 結言

図16 3D画像から制作した立体模型
図16 3D画像から制作した立体模型

  大多数のユーザーにとって,ソフトウエアはブラックボックスな道具かもしれないが,画像解析の背景には,本稿で説明したソフトウエア技術が存在することをある程度,意識して頂けたのではないかと思う.
 筆者らがライフワークとして取り組んできた研究開発の成果はソフトウエア資産として蓄積され,様々なアプリケーションに対応し,高度な3D画像解析が可能となっている.
 最後に3D画像から制作した立体模型をご覧に入れる.筆者らは,連続的な断層像を立体感を損なわない程度に,できるだけ少ない枚数に集約し,透明パネルに印刷/積層することで,3D画像を立体模型化する技法を考案した(10).内部構造の可視化が可能,浮島状の中空構造,複雑形状を再現でき,色や濃淡,透明感の表現に優れ,誰でも裸眼で自然な立体感を伴う観察ができる利点がある.

▲ 目次へ戻る

 

参考文献

(1) https://www.nvs.co.jp/index.php/product-service/sw/slice-aligner
(2) 奥村真彦,滝克彦ら:日本金属學會誌,79, 10(2015), 497-503.
(3) 滝克彦,中野亮ら:成形加工,20, 4(2008), 237-241.
(4) 藤本亮輔,滝克彦ら:鋳造工学,93, 10(2021), 612-617.
(5) 礎良輔,滝克彦:鋳造工学 第172回全国講演大会 講演概要集(2018), 25.
(6) 多比良恵,横井秀俊,滝克彦:成形加工(年次大会), 23(2012), 127-128.
(7) 奥村真彦,滝克彦ら:日本金属學會誌,79, 1(2015), 16-22.
(8) 多比良恵,横井秀俊,滝克彦:成形加工(年次大会), 23(2012), 127-128.
(9) 福満仁志,滝克彦ら:Electrochemistry, 83, 1(2015), 2-6.
(10) 滝克彦ら:第34回 日本展示学会研究大会 研究発表梗概集(2015).

▲ 目次へ戻る