> For the complete documentation index, see [llms.txt](https://docs.cooku222.kr/llms.txt). Markdown versions of documentation pages are available by appending `.md` to page URLs; this page is available as [Markdown](https://docs.cooku222.kr/project-remind/actions/undefined-1/its-study-ai/its-study-3-ai-pointnet-1.md). # \[IT's Study 3주차] 자율주행 관련 AI 모델 : PointNet (1) \*본 글의 모든 내용, 그림, 표 출처는 논문 원문에 있습니다. 논문 : PointNet: Deep Learning on Point Sets for 3D Classification and Segmentation, Charles R. Qi\*, Hao Su\* Kaichun Mo Leonidas J. Guibas Stanford University 논문 전문 : ***

PointNet : 데이터 렌더링 과정에서 로우 데이터가 왜곡되거나 용량이 커지는 문제를 개선하기 위해서, Point Cloud를 직접 입력하는 딥러닝 구조. 3D 형태 분류, 형태 파트 분할, 씬 의미론적 분할 등의 작업을 수행하도록 학습시키는 방법을 제시한다. **Point Cloud 특징** \- 기존 포인트 클라우드는 목적에 맞춰진 특정 작업에 의해 수작업으로 제작된 것 \- 특정 통계적 속성을 인코딩하며, 특정 변환에 대해 불변성을 가지도록 설계 \- 내재적(intrinsic) 또는 외재적(extrinsic)으로 분류 \- 포인트 특징은 지역(local) 특징과 전역적(global) 특징으로도 분류될 수 있다. \- 특정 작업에 대해 최적의 특징 조합을 찾는 것에서 어려움이 발생 #### #### 딥러닝과 3D 데이터 \- Volumetric CNNs : 3D 합성곱 신경망(CNN)을 복셀화(부피를 가진 픽셀)된 형태에 적용함 \- Volumetric CNNs은 데이터의 희소성과 3D 합성곱의 계산 비용으로 인해 해상도에 제약을 받음. \- FPNN및 Vote3D는 희소성 문제를 다루기 위한 특별한 방법을 제안하였다. -> FPNN : 3D 포인트 클라우드 데이터를 효율적으로 처리하기 위한 신경망 구조, Point Cloud 데이터는 기존 CNN과 달리 비정형 구조를 가지고 이를 보완하기 위해 커널 포인트를 사용한다. 또한 계산 속도 향상을 위해 로컬 영역(Local)으로 포인트를 분류한다. -> Vote3D : 3D 객체 탐지에 사용되는 구조이며 라이다 모형에 사용된다. Point Cloud 내에서 객체 중심점을 찾기 위해 Voting 메커니즘을 사용함 -> But, 이들의 작업은 여전히 희소 볼륨에서 이루어지며, 매우 큰 포인트 클라우드를 처리하는 데 어려움 #### Volumetric CNNs \- 볼류메트릭 CNNs는 해상도와 계산 비용의 제약으로 인해 데이터 희소성 문제가 여전히 발생함 -> Solution) Multiview CNNs: 3D 포인트 클라우드 또는 형태를 2D 이미지로 렌더링한 후 2D 합성곱 신경망을 적용하여 분류하는 방법 #### 그 외에 다양한 CNN 접근법 -> Spectral CNNs : 유기체와 같은 Manifold Mesh에 제한되어 있으며, 비등각(non-isometric) 형태인 가구와 같은 객체로 확장하는 방법은 아직 확실하지 않음 \=> 비등각 형태에 대한 연구가 필요하며, 이는 다양한 형태의 객체를 처리하는 데 중요한 요소가 될 것이다. -> Feature-based DNNs : 3D 데이터를 벡터로 변환한 후 전통적인 형태 특징을 추출하고, 이를 사용하여 완전 연결 네트워크로 형태를 분류하는 방법 \=> 3D 데이터를 벡터로 변환한 후, 전통적인 형태 특징을 추출 -> 완전 연결 네트워크를 사용하여 형태를 분류하는 방식

1\) PointNet Architecture에 따르면, 분류 네트워크(Classification Network)는 n개의 점을 입력으로 받아들인다. 2\) 입력 및 특징 변환을 적용한 후, 최대 풀링(max pooling)을 통해 점 특징을 집계 -> 최대 풀링이란? 입력 데이터(Feature Map)에서 특정 크기의 윈도우(커널, Kernel) 를 이동시키면서 해당 영역에서 최대값(maximum value) 만을 선택하는 연산 3\) 최종 출력은 k개의 클래스에 대한 분류 점수로 기준을 둔다. 각 클래스에 대한 예측 확률을 나타내며, 모델의 성능을 평가하는 데 중요한 역할을 한다. 4\) Segmentation Network에 따르면, 전역(global) 및 지역(local) 특징을 결합하여 사용하고, 각 점에 대한 점수를 출력함. 5\) 특징 추출 : Segmentation Network는 전역 및 지역 특징을 연결(concatenate)하여 처리한다. 6\) MLP(multi-layer perceptron)는 신경망의 기본 구성 요소로, 여러 층을 통해 복잡한 패턴을 학습할 수 있게 한다. 7\) 배치 정규화(Batchnorm)은 모든 레이어에 대해 사용됨. 활성화 함수로는 ReLU가 사용되며, 이는 비선형성을 추가하여 모델의 표현력을 높인다. -> ReLU란? Rectified Linear Unit의 줄임말이며, f(x)=max(0,x), 양수면 그대로 출력하고, 음수면 0으로 변환함. 비선형적이어야 딥러닝이 복잡한 패턴을 학습할 수 있고, 0보다 큰 경우에는 미분값이 항상 1이기 때문에 Gradient Vanishing문제를 해결함 8\) 과적합을 방지하기 위해 일부 뉴런을 무작위로 비활성화하는 방법으로 드롭아웃(dropOut) 방식 사용 --- # Agent Instructions This documentation is published with GitBook. GitBook is the documentation platform designed so that both humans and AI agents can read, navigate, and reason over technical content effectively. Learn more at gitbook.com. ## Querying This Documentation If you need additional information that is not directly available in this page, you can query the documentation dynamically by asking a question. Perform an HTTP GET request on the current page URL with the `ask` query parameter: ``` GET https://docs.cooku222.kr/project-remind/actions/undefined-1/its-study-ai/its-study-3-ai-pointnet-1.md?ask= ``` The question should be specific, self-contained, and written in natural language. The response will contain a direct answer to the question and relevant excerpts and sources from the documentation. Use this mechanism when the answer is not explicitly present in the current page, you need clarification or additional context, or you want to retrieve related documentation sections.