[논문 리뷰] PSNet: A Style Transfer Network for Point Cloud Stylization on Geometry and Color

 

 

Abstract 

Point cloud에 대한 neural style transfer method를 제시했다. 일종의 stylization으로 point cloud 기반의 데이터의 feature vector를 의미하는 content representation과 Gram-based style representation을 조정해서 얻었다고 한다. 이것들은 pretrained된 PointNet-based classifcation network에서 얻은 것들임. Gram-based style representation은 뒤의 gram matrix 계산법처럼 채널 간의 위치, 상관관계를 익히기에 포인트 클라우드 데이터의 전역적 통계적 속성만을 학습한다. 즉, 포인트의 개수나 순서에 불변하다는 것이다. 더 풀어쓰자면, Gram matrix는 i의 순서를 고려하지 않고, 모든 i에 대해서 합산을 수행하는데, 포인트 순서가 바뀌더라도 계산 결과가 다르지 않음. 또한, 포인트 개수 N이 달라지더라도 gram matrix는 값들의 통계적 상관관계를 나타내므로, 입력 데이터가 더 크거나 작아도 본질적으로 같은 스타일 유지.

 

<배경 설명>

Point cloud 데이터는 일반적으로 순서 정의가 되지 않은 "비정형 데이터". So, style을 나타내는 gram matrix는 다음 두 가지 특성을 가져야 한다.

1. 순서 불변성(Permutation Invariance) : Gram matrix는 각 포인트의 채널 값을 모두 합산. 그러므로 포인트 순서가 변경되어도 결과 동일
2. Global 통계적 정보 : Gram matrix는 데이터의 global style을 요약하므

여기서 content representation은 포인트 간의 상대적 위치, 배치 등을 의미한다.

- 이미지 스타일 transfer에서는 예를 들어 입력 이미지가 고양이 사진이고, 원하는 output이 고흐 화풍의 고양이 사진이라고 하자. 고양이 사진을 CNN에 통과시켜 특정 중간 계층의 활성화 함수 통과한, 출력 F를 가져온다. 이 F는 고양이 사진의 경계선, 윤곽, 모양 정보를 가지고 있다, 이것이 Content representation이다. 

- 포인트 클라우드에서는 데이터가 NxD 형태를 가지며, N은 포인트 수, D는 포인트 속성을 의미. Content Representation은 포인트 클라우드의 구조적 특성(ex. 포인트 간 거리, 상대적 위치, 배치)을 의미함. 예를 들어, 입력은 자동차의 포인트 클라우드, 목표는 색상 stylization이라고 하자. PointNet을 이용하여 자동차 포인트 클라우드 처리하고, 중간 레이어의 활성화 값을 content representation으로 추출. 이 값이 자동차의 전체적 구조를 의미한다. 

정리 : 중간 레이어 feature map에 활성화 함수 씌운 feature map = content representation

 

Gram-based Style representation이란

Style transfer에서 흔히 사용하는 스타일 특정하는 방식으로 특징 간의 내적(inner product)을 계산하여 해당 레이어에서 특징의 상호작용 상관성을 나타낸다. 포인트 클라우드에서는 PointNet의 중간 레이어에서 추출된 feature map의 gram matrix 계산하여, 포인트 클라우드의 색상 분포, 패턴, 텍스쳐 나타내는 데 사용.

Gram matrix는 어떻게 계산하냐? 일단 이는 feature map 간의 상관성을 나타내는 대칭 행렬로, 주어진 데이터의 스타일 또는 분포적 특성 요약. 

Feature map F의 각 채널을 $F$의 각 채널을 $F_{i,j}$라고 하면, 일단 여기서 해당 기호는 feature map의 i 번째 위치의 j번째 채널 값. Gram matrix G는 feature map F의 두 채널 간 내적을 계산하여 정의

 

$$G_{c,d}=\sum _i\sum _j{F}_{i,j,c}·F_{i,j,d}$$

 

c,d는 채널 인덱스, i, j는 공간적 인덱스(feature map 위치)

채널 간 내적은 어떻게 하느냐?

1) 각 채널을 1D 벡터로 펼친다. 예를 들어, 264x264 크기 채널을 벡터 $V\in {\mathbb{R}}^{H,·W}$로 펼친다. $V$의 길이는 264x264=69696이 된다.

2) 두 채널 간 내적 계산 - 두 채널 c와 d가 있을 때 

$$G_{c,d}=\sum _{i=1}^{H·W}{V}_{i,c}·V_{i,d}$$

c-번째 채널과 d-번째 채널 간의 전체 위치의 값들의 상관성

3) 모든 채널 간의 내적을 계산하여 CxC 크기의 Gram matrix 만든다.