[논문] 3D Reconstruction of 2D X-Ray Images
카테고리: IAC
태그: 3D Reconstruction 논문
산학연계 주제로 추천 받은 3D Reconstruction of 2D X-Ray Images 주제에 맞는 논문을 찾아서 정리하려고 한다.
Abstract
오늘날 2D X-Ray 이미지는 응급 의학 센터와 병원에서 필수적이다. 그들은 정형학에서 진단과 치료 계획을 정하는데 매우 중요한 역할을 한다.
이 기술은 CT나 MRI같은 더 진보된 3D 이미지 방법과 다르게 빠르고 값이 싸기 때문에 많이 사용된다.
의사는 환자의 몸 뒤에 필름을 두고 X-Ray를 투과시켜 환자의 사진을 얻는다. 이때 뼈는 피부보다 X-Ray를 더 많이 투과하기 때문에 더 밝게 나타난다.
그러므로 근골격 분석은 의사의 2D 이미지를 분석하는 능력에 좌우되고 가용한 데이터로부터 가정을 만드는 능력에 좌우된다.
이러한 외과의사 의존의 한계를 극복하고 외과적 개입의 효과적인 계획을 위한 이 프로젝트의 목표는 머신러닝을 통한 3D reconstruction of images from 2D X-Ray images 이다.
1. Introduction
상부 다리에서의 유일한 뼈인 대퇴골은 몸에서 가장 큰 뼈다. 대퇴골 상단은 골반대에 있는 공 또는 소켓 같은 절구(actabulum)에 연결되어 엉덩이를 형성한다. 하단에서는 무릎을 형성하기 위해 다리의 하부 전면에 있는 정강이 뼈, 종아리 뼈와 연결돼있다. 대부분의 경우 X-Rays는 대퇴골 골절을 진단하기에 충분하다.
[1] 골절을 치료하기 위해 의사는 뼈의 상부와 하부를 봐야 하는데, X-rays는 대퇴골과 무릎의 윗부분을 보여준다. 거의 대부분의 모든 종류의 골절은 대퇴골에서 보이지만 가끔 성장판 같은 연골판 주변의 균열은 X-rays에서 충분히 보이지 않는다.
[2] CT Scan은 사람 몸에 대한 3D 정보를 제공하지만 방사선 중독과 비용 때문에 일반적으로 선호되는 방식은 아니다. 이러한 한계를 극복하기 위한 많은 연구가 있다. 즉 컴퓨터 비전과 머신러닝을 사용을 통한 메디컬 이미지 분야에서의 기술적 발전은 더 나은 결과를 만든다.
[3] 대퇴골 골절은 많은 힘이 뼈에 가해질 때 일어난다. 뼈 구조를 보기 위해 X선 이나 감마선을 사용하는 방사선 촬영은 치료를 위해 추천된다. 다른 가능한 옵션으론 CT, MRI, X-Ray 가 있다. 이 모든 방법은 객관적인 결과를 주지만 X-ray 같은 경우 방사선에 몸이 노출되면 내상을 입을 수 있다. 3D 뼈 구조는 2D 구조가 주는 정보보다 더 효과적으로 균열을 조사할 수 있다.
[4] 2D to 3D 이미지 변환 알고리즘은 간단하고 계산적으로 효율적인 버전에 의해 개발됐다.
[5] 대조 변화에 대한 적응과 쉬운 등록 프로세스는 이 방법 성공의 핵심이다.
[6] 자동화 방법은 독립적이라 사람의 간섭을 요구하지 않는다. 반면에 반자동 방법은 깊이 map과 깊이 image 기반 이미지 렌더링이 입력으로 사용된다. 다양한 유형의 움직임을 사용해서 자동으로 깊이 추정을 할 수 있다.
[7] 2D to 3D Image and Video Conversion 기술에서는 스테레오 변환의 반자동 방식이 깊이 map 기반 렌더링을 사용한다고 말한다. 건물이 있는 도시와 건물 내부 같은 정적 강체에 대한 이 기술은 견딜 수 있지만 강체가 아닌 몸체와 부드러운 가장자리가 문제이다.
[8] 이미지의 3D 재구성 방법은 유해한 방사선 방출로 인해 선호되지 않는다. 최근 몇 년 동안 2D 이미지를 3D 이미지로 변환하기 위한 수많은 방법이 제시됐다.
[9] 주관적인 품질 평가와 객관적인 품질 평가 방법을 모두 사용하여 3D 비디오를 생성하여 재구성된 모델의 품질을 평가했다.
[10] K-Means Algorithm이 사용됐다.
[11] 인공지능과 머신러닝같은 기술의 출현은 농업, 의학, 자동화 등에 영향을 미친다. 의학분야에서 이러한 기술은 환자의 진단이나 데이터 기반 의사 결정 지원, 시설 개선 등과 같은 다양한 이점을 가져왔다.
[12] Unsupervised 시스템은 상위 지식이나 레이블 없이 데이터를 나타낼 수 있다. Unsupervised 방식과 뇌의 동작 방식에서의 유사점을 발견했다. data points를 Clusturing 하기 위해 최대한 유사한 아이디어를 발표했다.
[13] 단일 RGB 이미지를 사용해 모델을 Reconstruction 할 수 있다.
[14] 의료 산업에서의 데이터는 대량으로 생성되고 매우 복잡한 특성을 가진다. 따라서 이 대용량 데이터에서 패턴과 연관을 추출하려면 작업이 빠르고, 효율적인 기술이 필요하다.
[15] 이미지 픽셀 값을 Clusturing하여 그룹화 한다.
2. Methodology
주어진 2D X-Ray 이미지는 Gray-scale 이미지로 변환된다.
노이즈와 불필요한 데이터를 제거해야하는 X-Ray 이미지에서 K-Means Clustering은 이미지 처리 단계에서 사용된다. K-Means Clustering Algorithm은 비슷한 픽셀을 그룹화한다.
Thresholding 단계에서는 뼈 데이터를 나타내는 픽셀을 추출한다. 이 방법은 사람의 간섭이 거의 안들어갔기 때문에 높은 정확도로 제공한다. 이때 뼈 데이터의 일부인 픽셀을 나타내는 강도 값의 범위가 주어지며, 이는 X-Ray 이미지에서 뼈를 추출하는 데 사용된다.
High Dynamic Ranging은 이미지를 선명하게 하고 가장자리를 더 두드러지게 하는 데 사용된다. HDR은 사람의 눈에 더 매력적으로 보이도록 이미지에서 강도의 동적 범위를 증가시키는 기술이다.
.jpeg 형식의 이 데이터는 .stl 형식으로 추출되어 STL 뷰어에 제공된다. .stl 형식은 저차원 데이터를 더 높은 차원으로 변환할 때 사용됩니다. 데이터를 3차원으로 볼 수 있는 STL 뷰어가 제공된다.
3. Implementation
외과의사는 먼저 X-ray 이미지를 어플리케이션에 업로드한다. 그 후 관심 부위에 표시를 하는데 우리의 경우 골절 부분이 관심 부
분이다.
그 다음 표시한 골절 부분을 이미지로부터 추출한다. 이전 방법은 강도 공식을 사용하여 이미지에서 뼈를
추출했다.
이때 적절한 지침을 따르지 않으면 많은 노이즈가 발생할 수 있다.
추출된 이미지는 K-Means Algorithm에 대한 입력으로 제공된다. K-Means Algorithm은 유사한 픽셀 값
Clustering을 시도한다.
이 Unsupervised 뼈 추출 방법은 접근 방식이 일반화되어 있어 효율적이다.
골절 부위가 추출되면 3D 이미지 생성을 위해 추출한 이미지를 STL 생성기로 보낸다.
픽셀의 강도에 따라 더 높은 차원, 즉 3D 모델로 이미지를 나타낸다.
여기에서 이미지가 대퇴골 뼈인지 확인하기 위해 이미지의 특징을 추출한다. 이때 아니라면 다른 이미지를 입력해야 하고, 맞다면 K-Means Clustering을 사용하여 처리된다.
이 단계에서는 비슷한 강도의 픽셀을 Clustering하여 뼈를 추출하고 X-Ray 이미지에 나타날 수 있는
근육이나 기타 물체와 같은 노이즈를 제거한다.
그런 다음 이미지에서 깊이 정보를 추출한다. 대용량 데이터가 있는 경우 Volumetric CNN 모델을 사용하여 3D 구성을 수행할 수 있다. 데이터 부족으로 인해 앞서 언급한 깊이 정보와 상세 정보를 이용하여 뼈의 stl을 생성하는 모델을 생성했다.
4. Testing
테스트는 오류 및 누락을 발견하는 데 필요한 단계로 결함이나 약점을 발견하는 데 도움이 된다. 테스트는 지정된 요구 사항 및 사용자 기대치를 충족하는지 확인한다. 기본적으로 구성 요소, 부품, 하위 부품 또는 완제품의 작동 가능성을 검사하는 방법을 제공한다. 이떄 테스트 데이터와 라이브 데이터를 실행하여 검증한다.
정확한 에지와 함께 수신된 깊이 정보를 기반으로 아래 그림과 같이 상세한 레이어를 형성한다.
깊이 정보와 함께 상세 레이어를 사용하여 완전한 3D 모델을 생성할 수 있다.
이미지의 깊이는 2D 이미지 콘텐츠에서 객체의 상대적인 거리를 나타내는 정보로 정의된다.
정확하고 자연스러운 깊이의 생성은 매우 중요하며 이를 달성하기 위해서는 낮은 계산 복잡성이 필요하다.
아래 그림은 테스트 중에 얻은 깊이 이미지를 보여준다.
5. Results
적절한 결과는 이 제안된 접근법을 사용해 얻어진다. 3D 변환을 수행하기 위해서 환자의 데이터가 수집되어야한다. 이 요구된 결과를 얻기 위해, 30개의 샘플이 있어야하고 모든 샘플은 원하는 결과를 얻기위해 한단계씩 절차를 거처야한다. 시스템의 수행 평가를 증가시키기위해서 IEF와 SSIM 값이 계산되어야 한다.
적정한 결과를 위해 제안된 이 접근법은 성공적이다. 각 단계의 절차 그리고 해결법은 다음과 같다 : 모아진 X-ray 이미지는 시스템의 입력으로 들어간다. 입력 이미지의 좌표는 축 속성, 픽셀 범위, 위치, 해상도과 함께 고려된다. 입력으로서 환자 X-ray 이미지는 다음과 같다.
다음 사진은 생성된 마스킹 이미지이다. 조합 이미지의 마스크는 이미지에 의해서 보여진다. 색 이미지는 마스크에 적용되고 다음 단계인 이미지의 깊이 추정에서 보여진다.
디테일 레이어 컴포넌트 이미지와 함께 깊이 이미지를 결합하여 압축된 이미지를 얻는다. 이미지에서 압축된 디테일 레이어와 베이스의 조합은 다음과 같다.
3D 이미지 HDR 변환된 이미지가 3D 이미지로 변환될때 얻어진다. 2D 이미지를 3D 이미지로 변환하기 위해서 깊은 neural network는 사용된다. 그것은 Feed Forward Network 처럼 구성된다. 3개의 숨겨진 정점과 세개의 층으로 구성된다. 결과인 3D 이미지는 다음과 같다.
1.9810e + 30 과 0.6800은 각각 위의 이미지의 IEF 값과 SSIM 값이다.
6. Conclusion
이 논문은 2D X-Ray 이미지를 3D 이미지로 변환을 위해 neural network를 사용함으로써 가성비가 좋고 쉬운 접근법을 표현한다. 정형외과는 진단, 더 나아가 치료나 수술을 위해 정확한 뼈 3D 모델이 필요하다. 이 방법은 데이터 업로드 그리고 모델 학습과 같은 사람의 간섭을 가능한 최소로 요구한다. 데이터 셋은 15 ~ 30개의 다른 대퇴골 X-Ray 이미지를 포함한다. 대용량 데이터 셋을 사용할 수 없기 때문에 모델은 중간 정도의 정확도로 결과를 보여준다. 얻어진 결과는 STL 형식이고 stl viewer로 볼 수 있다.
얻어진 결과는 이 3D 변환 방식이 높은 정확도로 생성해낸다 라는 것을 보여준다. 대용량 데이터셋이 있으면 기존에 존재했던 방식과 비교해서 더 나은 정확도, 더 적은 처리 시간과 더 적은 비용으로 얻을 수 있다.
이 방식은 이미지에서의 복잡한 디테일을 발견하고 하드웨어 나 데이터 처리가 더 나아진 강력한 neural network를 사용함으로써 훨씬 나아질 수 있다.
댓글남기기