(바이오) 영상처리 실습 (29251217)

0. Pre-requisites

python 기초

[Summary] Python 정리

[Summary] Python 정리

colab 다루기

https://dsaint31.me/mkdocs_site/CE/colab/hw_spec/

BME

Tensor 다루기

Tensor 다루기 기초 - PyTorch 중심

[DL] Tensor 다루기 기초 - PyTorch 중심

Image에 대한 정의, DIP와 CV등의 개념 정리

https://dsaint31.tistory.com/790

[CV] DIP, Image Analysis, and Computer Vision

---

1. Image 열고 저장하기

ML에서 주로 사용되는 Image처리 관련 라이브러리는 pillow, openCV, scikit-image가 있음: torch에선 pillow기반 (cpu기준).

PIL, Pillow, OpenCV, and Scikit-image

[Python] PIL, Pillow, OpenCV, and Scikit-image

연구 분야에선 scikit-image도 꽤나 많이 사용되므로 기본적인 부분은 알고 있어야 함.

scikit-image: Image Load, Save, Display

scikit-image: Image Load, Save, Display

pillow(~PIL)는 전용 클래스로 image를 추상화하지만, openCV와 scikit-image, 그리고 torch등은 cpu에서는 NumPy의 ndarray로 image를 추상화한다. 이들간의 변환은 매우 간단함.

https://dsaint31.tistory.com/236

PIL과 opencv에서의 image 변환.

일반적으로 pillow의 Image 객체에서 Tensor로 변환하지만, 직접 이미지 파일에서 Tensor를 얻을 수도 있음.

[torchvision] image로부터 torch.tensor 객체 얻기

[torchvision] image로부터 torch.tensor 객체 얻기

저장도 pillow를 거치는 방식이 보다 일반적이나 Tensor에서 직접 저장도 가능하다.

[torchvision] torchvision.utils.save_image and torchvision.io.encode_jpeg, torchvision.io.encode_png

[torchvision] torchvision.utils.save_image and torchvision.io.encode_jpeg, torchvision.io.encode_png

torch를 사용한 기계학습이나 딥러닝에선 이들을 사용하여 이미지 파일을 로딩하지만,

이들의 API를 직접 이용하기 보다는 torch 또는 torchvision에서 제공하는 다양한 Dataset 클래스를 통해 로딩을 수행한다.

특히 모델 학습에선 절대적으로 Dataset과 DataLoader의 사용을 통해 이미지 로딩이 수행됨

[PyTorch] Dataset and DataLoader

[PyTorch] Dataset and DataLoader

---

2. image 기반의 Dataset - VisionDataset ( vision task를 위한 base class )

torchvision은 Dataset을 확장하여 transform, target_transform, transforms 등 vision 관련 변환 처리를 표준화한 VisionDataset을 제공하고, 이를 상속하여 다양한 실제 Dataset 구현 클래스들을 함께 제공한다.
분류(Classification) 작업의 대표적인 예로는 ImageFolder가 있으며, 객체 검출(Object Detection)의 경우 CocoDetection, 분할(Segmentation) 작업의 경우 VOCSegmentation, Cityscapes 등이 대표적이다.

 

Classification을 위한 Dataset:

torchvision.datasets.ImageFolder 사용하기.

torchvision.datasets.ImageFolder 사용하기.

Object Detection 을 위한 Dataset: 

( 4번의 실습 항목의 MS COCO를 읽고나서 볼 것.)

torchvision.datasets.CocoDetection 간단 소개.

torchvision.datasets.CocoDetection 간단 소개.

---

3. torchvision.transforms 모듈: 영상처리 구현물

Image에 대한 처리는 주로 torchvision.transforms 모듈에 클래스와 함수 형태로 구현되어 제공된다.

torch를 기반으로 한 기계학습 및 딥러닝 학습 파이프라인에서는, 기존의 OpenCV, Pillow, scikit-image와 같은 범용 영상 처리 라이브러리보다 torchvision.transforms 모듈을 사용하는 것이 일반적이다. 이는

Dataset–DataLoader 구조 및 Tensor 기반 연산과 자연스럽게 연동되기 때문이다.

 

다음 글에서 torch를 이용한 ML 및 딥러닝 환경에서 영상 처리를 담당하는 torchvision.transforms의 개념과 사용법을 소개한다.

[Python] - [PyTorch] torchvision.transforms 사용법 - transforms란?

[PyTorch] torchvision.transforms 사용법 - transforms란?

참고로, 현재는 torchvision.transforms 보다는 그의 submodule인 v2 사용을 보다 권장한다.
모듈화로 만드는 건 class 방식의 transforms가 낫지만 내부 구현의 경우엔 functional 모듈의 함수들이 보다 많이 애용된다.

다음은 v2 서브모듈을 구성하는 class와 function, kernel에 대한 소개임.

[Python] - [torchvision] transforms.v2, transforms.v2.functional, 그리고 kernel

[torchvision] transforms.v2, transforms.v2.functional, 그리고 kernel

---

보다 자세한 내용은 다음을 참고하라.

[Python] - [PyTorch] torchvision.transforms.v2 - Summary (작성중)

[PyTorch] torchvision.transforms.v2 - Summary (작성중)

---

4. 실습

Object Detection을 해본다.

가장 널리 사용되는 COCO의 구조를 이용하여 Object Detection Model을 훈련 시키는 예제로, 중점을 둔 것은 v2의 transforms를 이용한 composit input 에 기하학적 변환의 적용 및 COCO API를 통한 evaluation 임.

MS COCO (Microsoft의 Common Object in Context) Dataset

MS COCO (Microsoft의 Common Object in Context) Dataset

pycocotools COCO API 기초

pycocotools COCO API 기초

다음은 Object Detection을 위한 toy COCO dataset임

toy_coco_shapes.zip

0.04MB

 

실습  gist

위의 toy_coco_shapes.zip을 사용하여 다음의 gist를 수행시켜보자.

https://gist.github.com/dsaint31x/56feffe9b8c7f039e24ec429ebe089ab

dl_COCO_Detection_Simple_Example.ipynb

---

같이 보면 좋은 자료들

2025.06.17 - [분류 전체보기] - (바이오) 영상처리 실습 (20250618)

(바이오) 영상처리 실습 (20250618)