[Python] 내장함수 getattr()를 활용해 코드 간소화 시키기

python에서 getattr함수를 이용하면 위의 링크에서 설명해주고 있는 것처럼 method의 이름을 string으로 호출할 수 있게 된다.

이런 기능은 함수 포인트를 사용하는 것처럼 코드를 깔끔하게 만들 수 있는데 사용될 수 있다고 생각되어 유용하게 활용될 수 있겠다.

그런데 정작 getattr 함수를 찾았던 내용과는 또 달라서 더 찾아봐야했다.

  label_type = getattr(processor, "label_type", None)
  is_regression = getattr(processor, "is_regression", False)
  has_sample_weights = getattr(processor, "weight_key", False)

위와 같은 코드였는데 세 항목은 모두 함수가 아니었다. 위의 두 개는 class에 정의된 변수였고, 마지막 string은 선언한 class에서 정의되지 않은 문자열이었다.

추측하기로는 class의 내부 변수로 세 번째 값을 설정하고 그 값을 다시 반환하는게 아닐까? 하고 추측을 했지만 자신할 수가 없어서 더 찾아 보았다.

Python getattr()

이 사이트에서 찾을 수 있었는데 class에서 정의되지 않은 변수의 경우 오류 메시지가 반환되는데 이때 오류를 발생하지 않고 반환값의 default 값을 지정해주는데 사용된다고 한다.

default (Optional) - value that is returned when the named attribute is not found

찾고 보니 아 이게 있으면 코드가 더 깔끔하곘다 싶다.

강제로 값을 할당하는 것보다 기존의 인스턴스의 값도 바꾸지 않으니 더 유용할 것 같고..

reference를 찾아보는게 더 필요하구나 싶다.

abseil/abseil-py

absl-py

기본 사용 방법

from absl import app
from absl import flags

FLAGS = flags.FLAGS
flags.DEFINE_string("name", None, "Your name.")
flags.DEFINE_integer("num_times", 1,
                     "Number of times to print greeting.")

# Required flag.
flags.mark_flag_as_required("name")

def main(argv):
  del argv  # Unused.
  for i in range(0, FLAGS.num_times):
    print('Hello, %s!' % FLAGS.name)


if __name__ == '__main__':
  app.run(main)

django 등에서 봤던 프로그래밍 방식을 지원하는 라이브러리로 보인다.

매개변수나 필수 항목, 기본 값, USAGE 출력 등을 미리 처리해주기 때문에 기본적인 스크립트를 작성할 때 간단한 코드로 귀찮은 작업들을 대신해준다.

위와 같은 간단한 코드로 아래와 같은 결과를 얻을 수 있다.

• python adsl_test.py

• python adsl_test.py
• python adsl_test.py --name=TEST
• 
• python adsl\_test.py --help

Logging

• 로그를 남기는데 사용되는 함수 형태

abseil / Logging

from absl import app
from absl import flags
from absl import logging

FLAGS = flags.FLAGS
flags.DEFINE_string("name", None, "Your name.")
flags.DEFINE_integer("num_times", 1,
                     "Number of times to print greeting.")

# Required flag.
flags.mark_flag_as_required("name")

def main(argv):
    del argv  # Unused.
    for i in range(0, FLAGS.num_times):
        print('Hello, %s!' % FLAGS.name)
    logging.info("test %s" % FLAGS.name)
    logging.info('Interesting Stuff')
    logging.info('Interesting Stuff with Arguments: %d', 42)

    logging.set_verbosity(logging.INFO)
    logging.log(logging.DEBUG, 'This will *not* be printed')
    logging.set_verbosity(logging.DEBUG)
    logging.log(logging.DEBUG, 'This will be printed')

    logging.warning('Worrying Stuff')
    logging.error('Alarming Stuff')
    logging.fatal('AAAAHHHHH!!!!')  # Process exits

if __name__ == '__main__':
  app.run(main)

• 위의 코드에 대한 출력 결과

개발 환경을 docker에서 설정하는게 맞는지는 모르겠다. 그래도 자꾸만 환경이 바뀌어서 예전 코드가 동작하지 않는 등의 문제에 대응하기 위해서  개발용 이미지, 수행용 이미지를 만들어 보관하는 것이 하나의 대안이 될 수도 있을 듯 하다. 

다만 project하나마다 수십기가의 백업이 있어야 하는지는 좀 고민스럽긴 하다. 

image download

docker run --gpus all -it tensorflow/tensorflow:latest-gpu bash

• 이 명령을 통해서 tensorflow-gpu가 인식되는 버전을 다운로드 받고 실행을 확인함
• bash 안에서 nvidia-smi를 실행하면 docker의 host에서 설정한 nvidia driver가 잡혀있는 것을 확인할 수 있고, nvidia-smi를 통해 GPU도 동작하는 것을 확인함.

개발 환경 설정

• 받아진 이미지는 단순하게 python과 tensorflow만 설정된 상태의 docker이기 때문에 개발을 위해서는 container에 관련 환경 설정을 해줘야 함.
• 아래의 명령들로 기본적인 툴 들을 설치 함apt install net-tools apt install openssh-server apt-get install vim apt-get install git
• docker는 실행하고 바로 내려가기 때문에 bash와 연계되어 내려가지 않도록 하고, ssh로 접근할 수 있도록 데몬을 띄워주는 script를 작성 : /run/run.sh#!/bin/bash /usr/sbin/sshd /bin/bash
• 여기까지 만들어진 container를 image로 생성하여 향후 다양한 project에서 사용될 수 있도록 commit 함
  • 기존에 떠 있던 container를 stop 하고 CONTAINER ID를 확인
    • docker stop <container_name>
    • docker ps -a
  • image로 commit
    • docker commit -a 'lazgob' <container ID> <image name>
• 이미지로부터 run.sh를 실행하여 개발환경을 시작함 이때 ssh로 접속할 수 있도록 port도 처리하고 향후 사용을 위해 이름도 정의
  • docker run -p 2222:22 --name classifysent --gpus all -it <image name> /run/run.sh
• 다른 서버에서도 사용할 수 있도록 image를 저장하고 image에 등록 하는 방법
  • 저장: docker image save -o 압축이름.tar 이미지이름
  • 등록: docker load < 압축이름.tar

웹에서 다양한 자료들을 crawling해서 정리할 때 pdf로 된 경우 복사, 붙여넣기가 너무 힘들어서 시간이 오래걸리는 문제가 있다.

이런 번거로움을 줄이기 위해서 검색을 하다보니 pdf를 word문서인 docx로 변환하는 python library가 있었다.

그 것을 이용해서 간단하게 코드를 짜서 정리하니 표로 정리된 부분이 훨씬 수월하게 복사가 되어 조금은 편해졌다.

from pdf2docx import Converter
import sys
import re


if len(sys.argv)== 1:
    print ("USAGE: %s file.pdf", sys.argv[0])
print (sys.argv)

pdf_file = sys.argv[1]
docx_file = re.sub(".pdf", ".docx", pdf_file, flags=re.I)

# convert pdf to docx
cv = Converter(pdf_file)
cv.convert(docx_file, start=0, end=None)
cv.close()