728x90 반응형 Torch10 [DL] PyTorch: Autograd (Basic) Autograd 사용하기.Autograd는reverse mode automatic differentiation을 구현하여backpropagation을 자동으로 수행하는 도구임.https://dsaint31.me/mkdocs_site/ML/ch08/back_propagation/ BMEBack propagation (역전파, 오차 역전파) 딥러닝 모델을 학습시키기 위한 핵심 알고리즘. Back propagation은 다음 2가지를 조합하여 ANN을 학습시킴. "Reverse-mode AutoDiff" (Reverse-mode automatic differentiation) "Gradiendsaint31.me PyTorch에서는 autograd는 tensor와 함께 핵심 구성요소로, 모든 tensor 연산의.. 2024. 3. 22. [DL] PyTorch: TPU사용하기 https://github.com/pytorch/xla GitHub - pytorch/xla: Enabling PyTorch on XLA Devices (e.g. Google TPU) Enabling PyTorch on XLA Devices (e.g. Google TPU). Contribute to pytorch/xla development by creating an account on GitHub. github.com 다음 문서도 참고할 것. https://github.com/pytorch/xla/blob/master/API_GUIDE.md TPU로 PyTorch를 사용하기 위해서는 PyTorch / XLA 를 이용한다. PyTorch / XLA PyTorch로 구현된 model 및 PyTorch co.. 2024. 3. 21. [DL] Storage: PyTorch 텐서를 위한 메모리 관리 Storage는 Tensor 인스턴스의 실제 데이터가 저장되는 1D Numerical Array를 관리함.여러 Tensor 인스턴스들이 같은 storage를 공유할 수 있음. Storage는memory에서 contiguous data block를 관리하며,컴퓨터의 memory에서 homogeneous and contiguous array의 특징상 1D 임.cpu 또는 gpu 등의 memory의 실제 data가 저장된 contiguous block을 관리.다양한 shape의 Tensor 인스턴스들은 자신의 storage인스턴스를 통해 data block을 관리함.어찌 보면 Tensor 인스턴스들은 고유한 shape, stride, offset 을 가진 일종의 View에 해당한다. 참고: 다음 URL에서 c.. 2024. 3. 21. [Tensor] vectorized op. (or universal func) Numpy에서 제공하는 ufunc. (Universal Functions)은 homogeneous and contiguous tensor 에서 모든 elements에 같은 연산을 적용하여 기존의 반복 loop에 기반한 연산에 비해 압도적인 속도를 보이면서 간편한 연산자 하나로 처리하도록 지원해줌. ufunc는 일종의 vectorized operation (or vector operation) 임. 실제로 ufunc은 homogeneous and contiguous에 최적화된 바이너리 구현물에 대한 binding이라고 볼 수 있음. Python interface가 제공되어 쉽게 사용가능하지만, 내부적으로는 C, C++등의 컴파일 언어로 만들어진 바이너리 구현물이 동작한다고 보면 된다. https://ds3.. 2024. 3. 19. 이전 1 2 다음 728x90 반응형