컴퓨터공학 썸네일형 리스트형 원격 서버 도커에서 텐서보드 사용하는 법 큰 그림부터 보면 다음과 같다. 1. Docker run 할때 포트 열어주기 2. 서버에서 텐서보드 열기 3. 로컬 컴퓨터에서 ssh로 서버와 포트 연결 4. 로컬 컴퓨터에서 url로 접속 1. 서버에서 Docker run 할 때 포트 열어주기 docker run -it\ -p 6008:6008 \ # 사용할 포트번호. 이전 것과 겹치지 않아야 한다. --runtime=nvidia \ --shm-size 32G \ -e NVIDIA_VISIBLE_DEVICES=0 \ # 사용할 gpu 인덱스 --name=name\ # 컨테이너 이름 -v /data/codes:/mycodes \ # 서버 디렉토리:컨테이너 디렉토리 연결 pytorch:latest\ # 이미지 /bin/bash 2. 서버에서 tensorbo.. 더보기 pdb 기본 사용법 import pdb; pdb.set_trace()를 하면 그다음 줄에서 멈춰서 추적할 수 있다. 즉, pdb.set_trace() 를 집어넣은 곳 까지만 실행이 된 것! 기본적으로 5가지 기능: l, s, n, b, r l: 현재 줄 주위 11개 표시, 서드파티 패키지 디버깅시에 유용 s: 현재 줄 실행 후 다음 줄에서 멈추기 (1줄 실행, 함수 안으로 들어감) n: 현재 함수의 다음 줄에 도달할 때까지 실행 계속하거나 반환 b: 중단점 설정 r: 현재 함수의 리턴 전까지 실행 계속함 -> 프로그램 안의 변수명이랑 겹친다면 pdb 명령어가 우선시된다. -> len() -> for문 처리할 때, 계속 n으로 다음줄로 넘어가지 말고 중단점 설정하여 continue 호출이 더 좋다. pdb.pm(): 마지막 .. 더보기 서버 gpu에서 프로세스 실행 후 남아있는 메모리 정리하기. 서버 gpu에서 프로세스 실행 후 남아있는 메모리 정리하기. 딥러닝을 돌리다보면 서버에 불필요한 메모리들이 남아있을 수 있다. 이로 인해 cuda out of memory가 뜨기도 하며 청소해주는 것이 좋다. 일단 ps aux | grep ( 프로세스 이름) 를 통해 깨끗이 끝내지 못한 프로세스를 찾는다 예를들어 파이썬 파일을 실행시켰었다면 ps aux | grep python을 입력해준다. 그 후 앞에 써져있는 숫자를 sudo kill -9 ( 여기에 ) 넣어서 없애주면된다. 다시 nvidia-smi를 통해 확인하면 메모리가 정상적으로 돌아온 것을 확인할 수 있다. 더보기 pip/apt/conda 차이점 1. Pip는 파이썬 기반 패키지 소프트웨어 다운로드/설치/관리 하는 시스템 2. Apt (advanced packaging tool)의 약자. 둘다 패키지 설치를 도와주나 패키지 저장소의 위치가 다르다. Pip 또는 pip3는 pypi에서 패키지를 다운로드 하고, apt의 경우 우분투 저장소에서 가져오게 된다고 한다. 3. Conda는 아나콘다 기반 패키지만을 관리한다. Sudo(super user do)의 약자로 관리자 권한으로 설치와 비슷한 느낌이라고 생각하자. Root 계정에서는 sudo 권한을 사용할 필요가 없다고 한다. 더보기 Accelerating Stochastic Gradient Descent using Predictive Variance Reduction 리뷰 논문: Accelerating Stochastic Gradient Descent using Predictive Variance Reduction Abstract Stochastic gradient descent는 큰 데이터셋의 optimization에는 유용하지만 내재된 분산으로 인해 수렴이 느리다. 이에, 본 논문에서는 stochastic variance reduced gradient (SVRG)라는 explicit variance reduction 방법을 제안한다. Introduction Loss function의 optimization을 위해서 기존에는 gradient descent 방식을 사용해 왔다. 식은 아래와 같다. 하지만 gradient descent 방식은 각 step마다 n차 미분을 필.. 더보기 Bayesian learning via stochastic gradient Langevin dynamics 리뷰 논문: Bayesian learning via stochastic gradient Langevin dynamics Abstract Small mini-batches를 이용해서 큰 데이터셋을 학습하는 새로운 프레임 워크를 제시한다. 기존의 stochastiv gradient optimization에 노이즈를 추가하고 stepsize를 조절함으로써 실제 posterior distribution의 샘플에 수렴하는 것을 확인하였다. 최적화와 베이지안 posterior sampling 사이의 전환은 오버피팅을 막아준다. 또한 몬테카를로 추정을 이용하여 “sampling threshold”를 이용한 방식을 제안한다. Introduction 머신러닝에 있어서 큰 데이터셋들을 학습하는 일은 많은 task들에서 유용한 .. 더보기 Feature-weighted linear stacking. 논문 제목: Sill, Joseph, et al. “Feature-weighted linear stacking.” arXiv preprint arXiv:0911.0460 (2009) Stacking은 앙상블 기법 중 하나로 second-level learning algorithm에 여러 weak model들의 prediction을 input으로 넣는 기법을 말한다. 이러한 meta-feature들을 이용함으로써 앙상블 기법의 성능을 올렸지만, 기존의 stacking 기법들은 nonlinear 방식을 사용하여 많은 tuning과 학습시간을 필요로 했다. 본 논문에서는 linear한 stacking 방식인 Feature-Weighted Linear Stacking (FWLS)를 제안한다. 기본적으로 FWLS.. 더보기 DeepSIM: Image Shape Manipulation from a Single Augmented Training Sample (ICCV 2021 Oral) 리뷰 논문제목: DeepSIM: Image Shape Manipulation from a Single Augmented Training Sample (ICCV 2021 Oral) Abstract DeepSIM은 generative model for conditional image manipulation based on a single image이다. 본 논문에서는 TPS를 이용한 augmentation이 single image training에 효과적이라고 함. 제안하는 네트워크는 primitive representation과 realistic image를 mapping한다. 기존 sota를 뛰어넘었다고 한다. Introduction Image manipulation은 특정 이미지에 변형을 통해서 그 이미지를.. 더보기 이전 1 ··· 5 6 7 8 9 10 11 다음 목록 더보기
