728x90
Tensor RT
- NVIDIA에서 만든 프레임워크
- NVIDIA GPU 최적화 기술
Advantages of Tensor RT
- C++과 Pyhton을 API레벨에서 지원하므로 CUDA를 잘 모르는 DeepLearning 개발자들도
쉽게 사용할 수 있따. - Lantency, ThroughPut을 쉽게 향상
- 다양한 Layer 및 연산에 대해 Customization할 수 있는 방법론을 제공
- Latency (시간단위)
- 작업을 처리하는데 걸리는 시간
- Throughput (일단위)
- 단위시간(초)당 처리하는 작업의 수
- 일초당 몇장의 이미지를 처리할 수 있는지
Work Flow
- Optimizer
- NVIDIA GPU연산에 적합한 최적화 기법들을 사용해 훈련된 딥러닝 모델을 최적화 하는 역할
- Engine
- 배포할 NVIDIA GPU에 따라 최적의 연산을 수행할 수 있도록 도와주는 역할
딥러닝 가속화 방법
위 5가지의 방법으로 딥러닝의 경량화 및 가속화가 가능하다.
- Quantization & Precision Calibration
- Graph Optimization
- Kernel Auto-Tuning
- Dynamic Tensor Memonry
- Multi-Stream Execution
ONNX ( Open Neural Network Exchange )
- ONNX는 인공지능 모델을 표준형식으로 표현하고, 서로다른 딥러닝 프레임워크간에
모델의 변환 및 공유를 지원
728x90
'Program > 딥러닝' 카테고리의 다른 글
| ObjectDetection - NMS (0) | 2025.06.11 |
|---|---|
| Object Detection 알고리즘 정의 및 종류와 성능지표 (0) | 2025.06.10 |
| [Open CV] 딥러닝활용 _ 실전코딩 ( 실시간 얼굴 인식 ) (0) | 2022.08.03 |
| [Open CV] 딥러닝활용 _ EAST 문자 영역 검출 (0) | 2022.08.01 |
| [Open CV] 딥러닝활용 _ OpenPose 포즈 인식 (0) | 2022.07.31 |