본문 바로가기
반응형

컴퓨터공학

[해결법] 이동할 수 없는 파일이 있는 지점을 벗어나 볼륨을 축소할 수 없습니다 C 드라이브 볼륨 축소를 하려고 했는데 공간이 남아있음에도 사용할 수 있는 축소 공간 크기가 0이 뜨는 문제가 생겼다. defrag 이벤트를 찾으라고 하길래 이벤트 뷰어에 들어가서 탐색을 해보았다. 이벤트 뷰어는 윈도우 검색창에 검색해서 찾아주자. 이벤트 ID 259 / Defrag를 살펴보았더니 hiberfil.sys가 문제가 되나보다. 찾아보니 절전모드 관련한거였는데 on/off 할 수 있어서 다음 명령어로 off로 해주었다. cmd에서 관리자 권한으로 실행해서 다음 명령어를 실행해주자. powercfg -h off 조금 늘어난 것을 볼 수 있다. 다시 이벤트로그 확인해보니 이번에는 pagefile.sys가 문제란다. 시스템정보 > 고급 시스템 속성 > 고급 > 성능 설정 > 고급 > 가상메모리 변경.. 더보기
object detection 서베이 논문 리뷰 detection 공부를 해보려한다. 21년도 서베이 페이퍼를 하나 읽고, 22년도부터 나온 신상 모델들은 하나하나 논문 읽고 코드 분석해보면서 읽어보도록 하겠다. 오늘 리뷰할 논문 제목은 아래와 같다. 참고 논문 : A survey of modern deep learning based object detection models A survey of modern deep learning based object detection models Object Detection is the task of classification and localization of objects in an image or video. It has gained prominence in recent years due to its w.. 더보기
[파이썬 중급] 리스트 컴프리헨션 vs 제너레이터 본 시리즈는 도서 "파이썬 코딩의 기술"에 들어있는 파이썬 중급자들을 위한 기술들을 정리한 것이다. 책의 요약 + 부가 설명 이라고 생각하면 될 것이다. 더 많은 파이썬다운 기술들을 살펴보고 싶다면 하단의 링크를 참고하자 (추가예정). Better Way 9 컴프리헨션이 클 때는 제너레이터 표현식을 고려하자 리스트 컴프리헨션이란? 시퀀스에서 리스트를 만들어내는 간단한 방법 a = [1, 2, 3, 4, 5, 6, 7] squares = [i**2 for i in a] print(squares) 출력: [1, 4, 9, 16, 25, 36, 49] a를 사용하여 각 원소의 제곱을 원소로 가지고 있는 리스트를 간단하게 만들어 볼 수 있다. 해당 방식은 map이나 filter 기반의 코드보다 간결하게 리스트를.. 더보기
Accelerating Stochastic Gradient Descent using Predictive Variance Reduction 논문제목: Accelerating Stochastic Gradient Descent using Predictive Variance Reduction Loss function의 optimization을 위해서 기존에는 gradient descent 방식을 사용해 왔다. 하지만 gradient descent 방식은 각 step마다 n차 미분을 필요로 하고, 이는 expensive하다. 이에, stochastic gradient descent 방식이 생겨났다. 각 step마다 it를 랜덤하게 뽑아 진행한다. Stochastic gradient 방식은 각 step에서 한번의 미분만 하면 되서 computational cost가 1/n로 줄어든다. 하 지만 randomness가 variance를 유발한다. 이로 .. 더보기
Adam: A method for stochastic optimization 논문제목: Adam: A method for stochastic optimization ADAM은 파라미터 수가 엄청나게 많은 모델도 학습시킬 수 있고, 그래디언트와 모멘텀을 기반으로 하여 작동하기 때문에 메모리 효율도 좋고, step size도 스스로 조절해줌. 오늘날 가장 많이 사용되고 있는 optimizer이다. Gradient에 momentum을 추가하여 사용된다. 현재 시점의 gradient g와 이전 시 점의 모멘텀 벡터를 활용하여 다음에 움직일 방향 mt를 결정한다. 여기서 베타의 의미는 모멘텀과 gradient 중 어느쪽을 더 가중할 것인가를 나타내는 하이퍼 파 라미터이다. 이렇게 mt를 구한 이후, 이를 보정한 값으로 업데이트가 진행되게 된다. 이는 학습 초기의 모멘텀 벡터들이 주로 0으.. 더보기
SingSGD 논문제목: SingSGD 큰 신경망을 학습하는데에는 여러 gpu를 사용해야 한다. 이 상황에서 gradient들 을 합칠 때 bottleneck이 생긴다. gradient를 전송하기 전에 압축하면 비용을 낮출 수 있다. signSGD는 minibatch stochastic gradient 별로 sign 값을 취해서 해당 문 제점을 해결한다. 즉, 각 worker로 하여금 1-bit 으로 gradient를 압축하여 전달하 라는 것이다. Stochastic gradient에 sign을 취한 것은 실제 gradient를 approximation한 것으로 기존의 SGD보다 분석에 어려움이 있었다. 제안된 업데 이트 방식은 다음과 같다. 위와 같은 majority vote을 이용하여 각 work 사이의 commu.. 더보기
A decision-theoretic generalization of on-line learning and an application to boosting 논문제목: A decision-theoretic generalization of on-line learning and an application to boosting 본 논문에서 저자는 각 weak learner들에게서 나온 prediction을 통해 효율적인 boosting을 제안 한다. 각각의 prediction의 가치를 어느 정도로 두느냐에 초점을 맞춘다. On-line Allocation of Resources라는 모델을 가지고 문제 정의를 한다. Online Allocation model에는 agent와 strategy, options, time step, distribution over strategies, 그리고 loss로 이루어져 있다. 기본적으로 각 learner에게 독립적인 가중치를 주.. 더보기
Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity. 논문제목: Why Gradient Clipping Accelerates Training: A Theoretical Justification for Adaptivity. 최근 가장 많이 이용되고 있는 optimizer는 ADAM으로, AdaGrad와 RMSProp의 개념을 합쳐 놓은 것이다. 아주 좋은 성능을 보여주고 있지만, 어떻게 하면 빠르게 수렴할 수 있는지에 대한 이해는 여전히 부족하다. Clipped gradient descent란, 특정 threshold을 가지고 크기를 제한하는 방법으로, 학습의 수렴이 빨리 되도록 돕는다. 본 논문에서는 새로운 smoothness condition을 제안하고, gradient descent에서의 clipped에 대해서 자세히 다룬다. 학습에 있어서 손실함수가 .. 더보기
반응형

티스토리툴바