Github에 예쁘게 업로드를 하기 위해서는 필수

• 대부분 깃헙에 올라가있는 소스를 보면 폴더별로 패키지화 시키고 커맨드라인 명령어로 간단(?)하게 사용가능하게 구축해둠
  • 환경에 관계없이 재현이 가능하게 하기 위해서가 가장 크다고 생각
    • GUI 기반으로 하게되면 환경마다 작동의 문제가 생길위험이 크다
  • 설정된 환경에 맞추고 시키는대로 커맨드라인만 몇줄 치면 그대로 학습이 가능하게 구축
    • 보통 Readme에 설명을 잘 해놓기는 하나 매개변수가 워낙많아 간단해 보이진…
• 그래서 모듈과 패키지의 개념을 살펴보고 자주 사용되는 패키지들의 사용법을 알아보도록 하자

모듈과 패키지

• 모듈 : 변수(데이터, 함수, 클래스 등)가 담겨진 파일
• 패키지 : 여러가지 모듈이 담겨있는 종합 선물세트 폴더
  • 폴더안에 ‘__init__.py’ 파일이 있으면 패키지로 인식
    • 3.x 버전에선 없어도 된다고하나 사용할일이 많으니 만드는것을 추천
    • 기본적으로 패키지 안에있는 모듈에는 “.”을 이용해 접근이 불가능 하나 init파일을 수정해 가능하게 할 수 있음
• 예시 (편의상 전부 모듈이라 칭함)

    # pkg 모듈을 불러옴
    import pkg
  
    # pkg 모듈을 p 이름으로 불러옴
    import pkg as p
  
    # pkg 모듈안에 fun 모듈 혹은 변수를 불러옴
    from pkg import fun
  

• 패키지 만드는법
  • 정말 뭐없다. 폴더만들고 __init__.py 만 생성해주면 일단 완성
  • 소스는 최대한 클래스나 함수 내부에 작성

자주 사용되는 패키지들

• numpy, pandas, matplotlib, seaborn, os, copy, time
  • 자세한 설명은 생략한다
• torchsummary.summary
  • 케라스에서의 summary와 같은 기능 (따로 설치해야함)
    • 기본 model을 print 하는것보다 예쁘고 자세하게나온다 (용량 등))
  • pytorch에서 모델은 input shape가 저장되어있지 않으므로 매개변수로 넣어줘야함
• torchvision
  • .datasets
    • 샘플 데이터셋들이 모아둔 패키지
    • 데이터셋마다 불러오는방식이 조금씩 틀리니 레퍼런스를 참고하자
    • torch.utils.data.DataSets 클래스 구조를 따름
  • datasets.ImageFolder, DatasetFolder
    • 특정 폴더에 있는 이미지를 전부 불러올때 사용
    • 위 클래스를 상속받아 __getitem__ 부분만 재정의해서 사용
      • 라벨을 넣어야하므로…
    • 상속받은 클래스 정의 후에는 datasets의 다른 데이터(cifar10 등)를 가져오는것과 비슷하게 가져올 수 있음
  • .models
    • 사전학습된 유명한 모델들을 모아둔 패키지
    • classification, Semantic Segentation, Object Detection 와 관련된 모델들이 저장되어 있음
  • .transforms
    • 이미지 전처리에 주로 사용되는 알고리즘들을 Dataloader에서바로 사용할수있도록 편리하게 되어있음
    • Totensor() 의 경우 numpy나 image를 텐서로 변환해주므로 보통 마지막에 필수적으로 들어가고 [0, 1]로 scaling도 자동으로 해줌
    • Compose() 를 이용해 여러가지 처리를 리스트로 만들어 사용 가능

      transforms.Compose([ 
        transfoms.CenterCrop(10), 
        transforms.ToTensor() 
        ])
      

    • .utils.save_image
      • 텐서를 이미지파일로 저장해주는 기능
      • PIL 불러오기 귀찮을때 사용하면 좋다
• logging
  • 실행중 Log를 파일에 출력 가능
    • 콘솔상에도 출력 가능하나 파이썬은 print가 워낙 편해서…
  • basicConfig 함수를 이용해 파일명과 출력 형식 지정 가능
    • 다른 모듈에서 사용해도 유지됨 (아마도 싱글톤 구조)
    • level을 표시할수 있는데 기본설정으론느 warning 이상의 메시지만 출력됨
      • debug, info, warning, error, critical 다섯단계
      • 메시지 종류를 분류할 필요가 없다면 그냥 전부 warning써서 출력해도 됨
  • 예시

    logging.basicConfig(format='%(asctime)s : %(message)s',                                     filename='log.log')
    logging.warning('Message')
    

• argparse
  • 커맨드입력으로 옵션 설정을 하게 해주는 모듈화의 꽃같은 존재
  • 예시

    import argparse
    
    # 파서 생성
    parser = argparse.ArgumentParser()
    
    # 옵션 추가
    parser.add_argument('msg', help='Message')
    parser.add_argument('--epochs', help='Train epochs', type=int)
    parser.add_argument('-v', '--verbose', help='Verbose on / off, action = store_true)
    parser.add_argument('-t', '--train', help='train on / off, action = store_false)
    
    # 매개변수 정보를 변수에 저장
    args = parser.parse_args()
    
    # 호출방법
    print(args.msg, args.epochs, args.verbose, args.train)
    

    • -h, –help 는 도움말 표시로 사전정의되어있어 사용불가능함
      • help 매개변수 안에 내용이 도움말 호출시 출력됨
    • -v, -t 형식은 -tv 처럼 붙여서 사용가능 (순서상관 없음)
    • 위 ‘msg’ 처럼 - 가 붙지 않은 매개변수는 위치기반으로 입력 순서대로 저장됨(default 불가능)
    • 위치기반옵션이나 default가 지정되지 않은 옵션이 설정되지 않을시 에러발생
    • action 에 store_true의 경우 옵션 호출시 True를 저장(default는 False)
      • store_false의 경우 반대
    • 기본적으로 string 타입으로 저장되는데 type 을 사용해 변경 가능
  • 여러기능이 더있는거 같으니 자세한정보는 파이썬 도움말을…
• tqdm
  • 우리가 얼마나 기다려야하는지를 시각화해 알려주는 패키지
  • 일반적으로 for 문에 같이 사용되는 경우가 많음
  • 예시

    from tqdm import tqdm
    
    for i in tqdm(range(1,101), desc='Progress')) :
        ...
    

    • 위처럼 반복되는 부분을 tqdm으로 묶어주면 간단하게 사용 가능
  • generator에 사용시에는 total 매개변수로 최종길이를 수동으로 지정해야 함
  • desc 매개변수를 사용시 설명을 추가 가능하나 한글사용시 멀티라인출력이됨
    • 해결방안을 찾지 못하고 그냥 영어를 쓰는중
  • 참고로 주피터에서 사용시엔 tqdm_notebook 을 사용해야함
• 이외에 많이 사용되는 패키지
  • json : json 형식을 불러오거나 저장할때 사용
  • re : 정규식 사용이 필요할시 사용
  • PIL, cv2 : 이미지의 처리에 사용, 간단한것은 torchvision으로 해결가능