JD의 블로그

지금까지 아래의 주제로 다뤄보았다. *Week 2 - ACE 자격증은 무엇이고 어떻게 준비하는가? *Week 3-1 - 클라우드 솔루션을 위한 가장 기본적인 단계 ( 프로젝트와 계정 ) 이번에는 구글 클라우드 내에서 비용이 드는 기능을 사용하기 위해 필요한 결제 관리(Billing management) 및 콘솔이 아닌 명령어를 통해 구글 클라우드의 기능을 사용하기 위한 Command line interface (CLI)에 대해 알아볼 예정이다. 1.2 결제 관리 (Billing management) 예산과 결제를 관리하는 것은 프로젝트를 관리하는데 대단히 중요하다! ( 클라우드 서비스가 그~렇게 친절하지는 않으므로, 비용과 관련된 부분은 꼼꼼하게 알고 있는 것이 좋다고 생각한다. ) * 한 개 이상의 결..

Week 2에서 ACE가 무엇인지, 어떤 식으로 준비하면 좋을지에 대해 알아봤습니다. 아직 ACE가 무엇인지 모르시는 분이라면 Week 2를 참고하시기 바랍니다. 일단 내용에 앞서, 스터디 플랜을 확장시키기 위해서 먼저 특정한 세션에 대한 사전 지식이 있는지 파악한다. " 그 세션에 대해 경험이 있는가? " , " 이러한 기술을 특정한 비즈니스 업무나 요구사항을 만족시키기 위해 어떻게 적용할 수 있는지 알고 있는가?" 이러한 질문을 스스로에게 해보길 바란다. 그리고 이러한 질문에 대한 답을 스터디 플랜을 수정하는데 활용하라고 얘기하고 있다. Week 3 에서는 아래와 같이 Cloud solution 환경을 세팅해보는 것에 관한 주제에 대해서 다뤄보겠습니다. 1) Cloud projects and acco..

Google Cloud Associate Engineer 자격증을 취득하기 위해 코세라의 "Preparing for the Google Cloud Associate Cloud Engineer Exam" 코스를 듣고 있다. 혹시나 자격증을 준비할 분들을 위해 시험 내용과 관련하여 코스 내용을 정리해보려고 한다. Learn more about GCP Certification 구글 자격증을 가진 사람은 구글 클라우드 기술 상에서 설계하고, 개발하고, 어플리케이션과 인프라, 그리고 데이터 솔루션을 관리, 감독할 수 있다는 것을 증명하는 것을 의미한다고 한다. 또한, 자격증을 가진 사람이 필요한 기술적 지식이 있으며, 고객과 사람들에게 의미있는 영향을 끼칠 수 있으며 사업으로 전환할 수 있는 구글 클라우드 기술을..

DVC의 메인 기능은 데이터 파일과 디렉터리를 추적하고 이것들의 버전을 관리하는 것입니다. 데이터 사이언스 / 머신러닝에서 주된 데이터 파일은 Git이 추적하기 힘든 이진 혹은 대용량 데이터입니다. 그렇기 때문에 DVC가 나오게 되었고, 이런 문제를 해결해주었습니다. DVC와 Git은 서로 배타적이지 않습니다. DVC는 일반적으로 Git과 통합되므로 Git은 코드 및 구성 파일을 추적하고 DVC는 데이터를 추적합니다. 그러나 DVC는 Git과 독립적으로 작동 할 수도 있습니다 (linux기준) $ pip3 install dvc 명령어를 통해 dvc를 사용 가능합니다. $ dvc init 명령어를 통해 DVC를 intialize하면 .dvc 디렉터리가 생깁니다. $ dvc add [ 파일 명 ] 명령어를 ..

Google Cloud Shell에서 Torch를 import 하려고 했으나 module을 찾지 못해 pip3 install torch로 다운을 시도했다. 하지만, 다운이 99%에서 Killed되어 다운이 제대로 되지 않는 에러가 발생했다. 제한된 메모리 환경에서 torch를 설치하면 Google Cloud VM 설정에 따라 문제가 발생할 수 있다. pip가 캐싱하기 전에 전체 파일을 메모리로 읽으려고하는 것처럼 보여 발생한다고 한다. 아래의 명령을 실행하여 pip에게 캐싱을 피하도록 요청하면 해결된다.

Microsoft의 NNI 를 이용하여 AutoML을 시도해보려고 하였으나 nnictl:command not found error가 발생하여 config.yml 파일을 실행할 수 없었다. 그래서 방법을 찾아보니 환경 변수 설정이 잘못되어 있었다. which nnictl 를 이용해 확인한 path를 환경 변수로 설정해줘야한다. Linux 환경 상에서 실행하였다.