튼튼한 나무

1. 포인트 클라우드란? Lidar 센서, RGB-D센서 등으로 수집되는 데이터를 의미한다. 포인트 클라우드 데이터는 좌표계의 개별 점으로 구성된 3차원 공간을 표현한 것이다. 포인트 클라우드의 각 포인트는 공간의 특정 위치를 나타내며 데이터에 따라 색상, 강도 또는 기타 속성과 같은 추가 정보를 포함할 수도 있다. 포인트 클라우드는 컴퓨터 그래픽, 컴퓨터 비전, 원격 감지 및 3D 모델링과 같은 분야에서 일반적으로 사용된다. 포인트 클라우드 데이터는 다음과 같은 다양한 방법을 통해 수집할 수 있다 : Lidar(Light Detection and Ranging) : Lidar는 레이저 펄스를 방출하고 이러한 펄스가 물체에 반사된 후 돌아오는 데 걸리는 시간을 측정한다. 이 정보는 물체까지의 거리를 결정..

최근 몇 년전부터 쿠버네티스에 대해 관심이 높아지고 있고, 여러 테크 기업에서 시스템을 쿠버네티스 기반으로 전환했다는 내용이 종종 들리고 있어 개념을 정리해보고자 한다. Kubernetes 용어 정리 : 컨테이너 : 앱이 구동되는 환경까지 포함하여, 실행할 수 있도록 하는 격리(독립) 기술 컨테이너 런타임 : 컨테이너를 다루는 도구 도커 : 컨테이너를 다루는 도구 중 가장 유명 한 것 쿠버네티스 : 컨테이너 런타임을 통해 컨테이너를 오케스트레이션 하는 도구 오케스트레이션 : 여러 서버에 걸친 컨테이너 및 사용하는 환경 설정을 관리하는 행위 PC 환경에서 예를 들어보자면, 만약 어떤 PC에서 특정 프로그램을 설치하고 실행하고자 한다. 해당 프로그램의 정상 설치 및 실행을 위해선, 특정 경로에 설치를 해야 ..

1. Pytorch pth model 파일을 변환 없이 모바일에서 사용할 수 있나? 아니요, 일반적으로 PyTorch .pth 모델 파일은 변환 없이 모바일 장치에서 직접 사용할 수 없습니다. PyTorch 모델은 Python 런타임 환경에 의존하는 PyTorch 프레임워크를 사용하여 실행되도록 설계되었습니다. 반면 모바일 장치는 일반적으로 하드웨어 아키텍처와 운영 체제가 다르기 때문에 PyTorch 모델을 대상 모바일 플랫폼과 호환되는 형식으로 변환해야 합니다. 모바일 장치에 PyTorch 모델을 배포하려면 일반적으로 모델을 모바일 친화적인 형식으로 변환하고 리소스가 제한된 환경에 맞게 최적화한 다음 TensorFlowLite, CoreML 또는 ONNX Runtime과 같은 적합한 모바일 프레임워크를..

import pynvml import torch def get_memory_free_MiB(gpu_index): pynvml.nvmlInit() handle = pynvml.nvmlDeviceGetHandleByIndex(int(gpu_index)) mem_info = pynvml.nvmlDeviceGetMemoryInfo(handle) total= mem_info.total // 1024 ** 2 free = mem_info.free // 1024 ** 2 return free, total print('GPU Memory : ',{f'GPU-{i}':f'{get_memory_free_MiB(i)[0]:,d}/{get_memory_free_MiB(i)[1]:,d} MiB' for i in range(to..

필자는 서버 굉장히 많이(아니 대부분) 사용하는데, tensorboard로 scalar, image, audio, weight 등 다양한 값을 저장하고 서버에 연결하여 코딩도 하지만 juyter notebook으로 다양한 작업을 한다. 이런 경우에 tensorboard를 원격으로 접속가능하게끔 띄워도 되지만 뭔가 굉장히 귀찮다.. 이걸 또 안하려니 매번 tensorboard file을 로컬에 다운받아서 tensorboard를 로컬에 띄워야 한다. (매우 귀찮다..) 그래서 jupyter notebook에서 tensorboard를 실시간으로 띄워보고자 한다. 먼저 port를 뚫어준다. (아래 예시는 6006~6020 port open) 1) ubuntu server sudo ufw allow 6006:60..

가끔, 많은 폴더(혹은 파일)을 지우고 싶은데 권한으로 lock 걸려있는 경우가 있다. shell 명령어로 처리해버리면 되는데, 매일 사용하는 파이썬이 편하니까 한번 정리 해보려고 한다. keep_file = 'bct_train_L8_2023_01_02_19h_55m_27s' log_files = os.listdir('log/tb') log_files = [i for i in log_files if 'bct' in i] log_files.remove(keep_file) 위 코드처럼, 많은 log_files(폴더임) 리스트 내에 kee_file을 제외한 모든 폴더를 날려버리고 싶은데 shutil 이나 os.remove 같은 방식으로는 permission denied 가 떠서, 삭제할 수 없다. 그래서 su..

기본적으로 docker container를 띄우고 실행하면, 아래처럼 협정세계시(UTC)로 시간이 잡혀있습니다. ( linux 날짜 확인 명령어 : date ) 근데, 이를 도커 컨테이너를 띄울 때 날짜를 Asia/Seoul로 맞춰서 실행할 수 있는데 명령어가 길어지면 불편하고 귀찮으니 쉽게 하는 방법이 있습니다. apt-get update apt-get install tzdata tzdata 패키지를 설치하면, 아래처럼 Asia/Seoul을 선택해서 설정할 수 있습니다. 혹은 tzdata를 설치했다면, 아래처럼 환경변수로 셋팅도 가능! export TZ=Asia/Seoul 결과 :

먼저, deep-learning에서 multi-GPU로 train을 시킬 때, 분산 처리를 하는 방법으로 크게 2가지로 나눠볼 수 있습니다. DistributedParallel(DP)과 DistributedDataParallel(DDP) 입니다. 대표적인 차이는 DP는 single-process & multi-threading 방식으로 single-node 내에서만 작동합니다. 하지만, DDP는 single/multi machine 상관 없이 multi-process로 작동하기 때문에, 파이썬의 GIL로 인해 DDP가 더 빠를 수 밖에 없습니다. pytorch.nn에 nn.DataParallel이 대표적인 DP로 사용하는 방법이고, apex에 DistributedDataParallel가 있는데 pytor..