리치윈드 (RichWind)

지난번 포스팅에서는 conda를 이용하여 가상환경을 생성/확인/삭제 등에 대하여 알아 보았다. conda 가상환경에 대한 글은 아래 글을 참조 바란다. 2022.09.19 - [IT 이야기/IT 상식] - [Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet) 그런데, conda에서 가상환경을 생성하였다고 하더라도, Jupyter Lab 또는 Jupyter Notebook에서는 신규 생성한 가상환경으로 시작할 수가 없다. 물론, 가상환경으로 변경(conda activate) 후에 jupyter Lab 서비스 구동 자체 다시 시작하면 해당 가상환경으로 Jupyter를 사용할 수 있기는 하다. 그러나, 매번 Jupyter 서비스를 다시 재구동 할수는 없지 않겠..

카테고리 없음 2022. 9. 19. 23:06

Python을 사용하는 User들에게 ananconda (conda)는 매우 익숙한 패키지 관리자이다. 그러나, 익힐것이 많은 우리는 매번 conda 명령어가 가물가물하다. 또한, pip 명령어와, 명령어간 순서가 종종 혼동되기도 한다. env 인가? envs 인가? 오늘날, 이런 명령어 하나 하나를 모두 기억하고 살기에는 우리가 기억하고 있어야 할것이 너무 많다. 또한, 종종 내부 로직을 이해하면 외우지 않아도 자연스럽게 암기가 되기도 한다. 내부 로직/원리를 함께 살펴 보자. conda : 패키지 설치 / 버전 conda에서 가장 자주 사용하는 것은 당연히 패키지 설치 일것이다. $ conda install ... ex) $ conda install numpy pandas 기존에 설치한 버전의 업데이..

IT 이야기/IT 상식 2022. 9. 19. 21:54

컴파일 에러 : 개발자에게 가장 싫어하는 에러 안드로이드 앱 개발 혹은 Cross Platform App 개발하면서, 아래와 같은 "CompileSdkVersion Error"를 종종 만나게 된다. 특히, 프로젝트 세팅을 처음부터 시작한 것이 아니라, Template 또는 Skeleton Project로 부터 시작하는 경우에서 발생이 빈번하다. Your project requires a higher compileSdkVersion. ㅜ_ㅜ 이런 컴파일류의 에러가 발생하면 처음에는 매우 당혹스럽기만 하다. 왜냐하면, 아직 아무것도 하지 않았기 때문이다. 아직 시작도 않해봤는데, 바로 컴파일 에러부터 발생하면, 환경 세팅 문제인데 이런류의 에러는 한번 꼬이면 잡아내기가 무척 까다롭기 때문이다. 다행이 이번 ..

IT 이야기/IT 상식 2022. 9. 13. 15:41

Tensorflow IO (TFIO) Tensorflow_io는 GPU를 사용하여 파일 로드, 디코딩, 전처리 등을 빠르게 할 수 있어서 매우 유용한 툴이다. 필자 또한 다수의 파일을 읽고 전처리할 때 사용하고 있다. 처음에는, 각 파일별로 전처리한 결과를 저장해 놓고 그때 그때 저장해둔 전처리 결과물을 로딩하여 사용했으나, Tensorflow_io를 사용한 이후 부터는 실행하는 Runtime 시점에 파일로딩->전처리까지 실시간으로 처리하여도 속도 측면에서 뛰어남을 체감하고 있다. 더욱이, 전처리하는 과정에서 일부 수정이 발생하면, 미리 저장해둔 전처리 결과물을 재 생성해야 한다. 이 때문에, 전처리 과정에서 파라미터 변경 등에 따른 실험이 필요하다면 필수적으로 Tensorflow_io를 사용하게 될 것..

머신러닝 이야기 2022. 9. 6. 10:35

산업안전보건교육 2022년 3분기 비사무직 1 [O/X 문제] 저는 조리사로 매일 조리용 장화와 장갑을 사용하고 있습니다. 가끔 일반 장화를 사용할 때가 있는데 이것도 위험성 평가 시 유해∙위험요인 항목에 포함될까요? (5점) 1. O 2. X 해설 닫기 정답 : 1번 해설조리실은 특히 물기와 기름기가 많기 때문에 미끄럼방지 장화를 신어야 합니다. 이외에도 위험성평가에서는 조리용 장갑, 조명등 간격, 코드 위치 등을 점검합니다. 2 다음 중 위험성평가의 특징으로 올바른 것은 무엇인가? (5점) 1. 체계적으로 문서화하고 지속적으로 수정 · 보완하며 조직적 · 과학적인 방법으로 진행된다는 것이다. 2. 감각적 또는 경험적으로 ‘이것은 위험하다’ 고 판단한 것 만을 평가대상으로 한다. 3. 유해·위험 요인을..

나의 이야기/사회 및 생활 2022. 8. 25. 18:39

크롬(Chrome)에서 구글독스 (Google Docs) 한글이 깨지다니.... 똑같은 구글제품에서 깨지면 어떻하나... 필자는 MacOS + 크롬(Chrome) 브라우저를 주 인터넷 환경으로 사용하고 있습니다. 그리고, 정돈되기 전의 글들, 로깅, 메모 등은 구글닥스를 사용합니다. 그런데, 간혹~ 아주 간혹~ 크롬 브라우저에서 구글독스를 사용하면, 한글이 깨지는 현상이 발생합니다. 과거의 한글조합형 문자의 깨진 문자를 보는듯 하군요. ㅇㅗㄴㅡㄹㅇㅡㅣ ㅇㅣㄹㄱㅣ 흐음.... 그런데, 이게 꼭 항상 그런것은 아니라서, 대충 크롬이 아닌 사파리/파이어폭스 등 다른 브라우저를 사용하다가, 크롬으로 다시 돌아오면 잘되는 경우가 좀 있습니다. PC를 잘 끄지않고 "잠자기"/"대기"를 자주 사용하는지라, 세팅값이 ..

IT 이야기 2022. 7. 25. 10:21

Python은 Flask / FastAPI / Django 등에서 각 Web Application 의 함수를 Routing해 준다. 그러나, AWS Lambda와 같은 Serverless 방식으로 Function을 구동한다면 어떻게 라우팅 해 줄 수 있을까? AWS에서 제시하는 답은 API Gateway를 사용하라.!!! 추가적으로 Routing을 처리하는 과정에서 L7 Layer 장비가 해 줄수있는 Application에서의 추가기능을 제공한다. 대표적으로, Request의 Validation 점검, Response의 변형, 그리고 prod/test 등의 deploy 관리 등이다. API Gateway를 사용한 솔루션 개발 그림으로 도식화하여 보자. Amazon API Gateway를 사용하면 다음 그..

개발 이야기 2022. 7. 18. 11:39

Keras Custom Model 에러 : get_config Not Implemented Error Keras로 Custom 모델을 생성하고 학습을 하다 보면, "get_config(self)"가 정의되지 않았다는 에러를 만날 때가 있다. 에러가 발생한 구체적인 사례는 다음과 같다. --------------------------------------------------------------------------- NotImplementedError Traceback (most recent call last) in 13 14 ---> 15 history = custom_model.fit( X_train , y_train , batch_size = 32, epochs=nEpochs, 16 validat..

카테고리 없음 2022. 7. 15. 22:02

[관련글] 2022.07.11 - [IT 이야기/IT 상식] - AWS교육[요약]-Technical Essential : IAM/Role/EC2/VPC/ELB 2022.07.13 - [개발 이야기] - [AWS 교육 요약] - Developing on AWS (1/4) 2022.07.13 - [개발 이야기] - [AWS 교육 요약] Developing on AWS (2/4) AWS 데이터베이스 - DynamoDB [ Amazon DynamoDB ] 규모에 따른 성능 엔터프라이즈에 사용 가능 대기 시간이 짧은 쿼리 서버리스 / 완전관리형 세분화된 엑세스 제어 DynamoDB는 파티션키를 필수로 요구한다. 왜 그럴까 생각해 보면, NoSQL DB관점에서 각 아이템(행)을 저장할 때 Hash를 사용하는데, H..

개발 이야기 2022. 7. 13. 18:43

[관련글] 2022.07.11 - [IT 이야기/IT 상식] - AWS교육[요약]-Technical Essential : IAM/Role/EC2/VPC/ELB 2022.07.13 - [개발 이야기] - [AWS 교육 요약] - Developing on AWS (1/4) 2022.07.13 - [개발 이야기] - [AWS 교육 요약] Developing on AWS (2/4) [ 교육 목표 ] 개발환경을 지원하도록 IAM 권한 구성 AWS SDK를 사용한 Cloud Native Application 설계/구축/배포 AWS 리소스 모니터링 및 유지 관리 [ 목표 서비스 아키텍처 - MSA ] AWS Web Console에서 AWS 서비스들을 제어 할 수 있지만, 서비스에 따라서는 프로그래밍 환경에서 제어가 ..

개발 이야기 2022. 7. 13. 09:58

[주요 내용 ] IAM 소개 EC2 소개 AWS Lambda 소개 VPC 소개 AWS DB 서비스 소개 AWS Networking 소개 AWS Storage 소개 AWS Farget 소개 Monitoring 소개 참조 :AWS Skill Builder 한글화 과정 목록 (https://github.com/serithemage/AWS_class_resources/tree/main/AWS_Skill_Builder) Technical Essential - AWS 서비스에 대한 기초/교양과 같은 코스웍 AWS Technical Essential은 대학으로 치자면 교양과 같은 과목이다. 실제 각 관심있는 서비스와 프로비져닝, 활용에 대해 집중하기 보다는, 기초적인 서비스의 개념과 AWS가 추구하는 철학, 그리고 ..

IT 이야기/IT 상식 2022. 7. 11. 18:25

텐서플로우(Tesorflow)를 이용한 오디오 파이프라인을 구성하려고 할 때, tensorflow-io에서 다음과 같은 에러가 발생하는 일이 빈번하다. NotImplementedError: unable to open file: libtensorflow_io.so #1313 Tensorflow에서는 GPU 관련하여 버전이 안맞으면 이러한 에러가 자주 발생한다. (tensorflow-io와 기존 tensorflow/cuda/cuDNN의 버전이 안맞는 경우) 특히 필자의 경우는, TFIO를 사용해서 오디오를 로드해야만 하는 상황이었다. tfio.audio.AudioIOTensor(...) 구글링을 해도 여러가지 해법이 동작하지 않았다. 그 중 몇개의 댓글에서 해답을 찾았다. [해결 방안] !pip instal..

카테고리 없음 2022. 7. 6. 17:02

맥북 (MacOS)는 파일시스템 (FileSystem)이 윈도우의 그것과 다르기 때문에, 윈도우용으로 사용하던 외장하드/외장SSD/USB등의 쓰기를 사용할 수 없다. 다행하게도 읽기는 지원을 해주지만, 아래 처럼 쓰기가 되지 않는다. "정보 가져오기"를 통해서 디스크 정보를 보면, "읽기만 가능"으로 표기 되어 있다. 실제 디스크의 폴더에 접근하여 "새폴더 만들기" 등이 팝업메뉴에 출력되지 않으며, 당연하게도 "파일복사" 등이 되지 않는다. 맥북의 내장 SSD 용량 부족으로 데이터를 백업하거나, 윈도우용으로 사용하던 USB담아서 파일을 옮기려고 할 때, 매우 곤란을 겪게 된다. 패러랠즈, VMware 또는 부트캠프(Bootcamp) 등을 사용하여 윈도우와 같이 OS를 사용하는 유저의 경우에는 불편하더라도..

IT 이야기/IT 상식 2022. 6. 29. 23:14

모듈 : 함수들이 뭉쳐진 하나의 .py 파일 패키지 : 여러 개의 모듈을 그룹화한 묶음 라이브러리 : 패키지의 모음을 그룹화 [목차] 파이썬 모듈 만들기 파이썬 모듈 불러오기 (상대경로, 절대경로, 환경변수 등록) 파이썬 모듈 실행 : __name__의 의미 패키지와의 관계 파이썬 모듈 (Python Module) 모든 python 파일 (*.py)는 모듈이며, 각 모듈은 `import`를 통해서 모듈을 추가 할 수 있다. 또한 모듈 안의 모든 함수와 개체 또한 모듈로 볼 수 있다. import 모듈이름 예를 들어, 다음과 같은 코드를 `calc.py`로 저장한 경우를 가정하자. # calc.py def add(a,b): return a+b 모듈 불러오기 이 경우 다음과 같이 모듈을 추가할 수 있다. i..

개발 이야기/Python 2022. 6. 25. 23:42

가상환경 생성 관리를 위해 가장 많이 사용되는 툴로써, `conda` , `venv` 등이 있다. 그러나 우리는 환경에 따라서 이들을 사용할 수 없는 환경이 주어지기도 한다. 예를 들면, conda를 지원하지 않는 container 이미지 등에서 작업을 해야 하는 경우이다. 또한 종종 venv가 잘 동작하지 않거나 에러를 발생하는 경우도 있다. 이러한 경우, 기존 python2.x에서 사용하던 추가패키지로 `virtualenv`를 설치하여 사용할 수 있다. 사용하는 방법을 거의 비슷하므로 옵션의 차이 정도만 필요할 때 참조하여 사용하면 되겠다. 1. venv Venv Python3의 가상환경을 관리하는 가장 기본이 되는 관리도구이다. Python 2.x에서는 기본지원이 없었는데, python3.x로 변경..

카테고리 없음 2022. 6. 17. 22:37

librosa 설치 오류 Librosa를 처음 설치하다 보면, 아래와 같이 import도 되지 않는 상황이 종종 발생하곤 한다. 아무리, pip 명령어를 만져봐도 시작부터 되지 않는 경우이다. sndfile library not found librosa는 내부적으로, scipy.wavefile과 sounfile 라이브러리를 사용하는데, soundfile 라이브러리 설치가 잘 안되서 발생하는 문제이다. soundfile library는 파이썬 외에 os차원에서 설치해야하는 library가 포함되어 있기 때문에, pip 및 종속성검사로 설치가 되지 않는다. Librosa 공식웹페이지 이외, Github Page를 참조하면, Soundfile을 설치할 때 다음과 같은 사전설치/업데이트가 필요하다고 가이드 되어..

개발 이야기/Python 2022. 6. 2. 15:56

차원축소 및 프로젝션에 대해 한번에 이해할 만한 이미지 PCA (Principal Component Analysis) 등 Dimesional Reduction 의 개념을 이해하는데 도움이 되는 그림을 소개 한다. 중앙에 있는 코일 같은 신호가 Original Data라면, 한쪽의 축으로 프로젝션한 결과 데이터 X축/Y축 프로젝션 데이터 각각이 Dimentional Reduction의 결과물 이라고 할 수 있다. PCA와 같은 경우는 이러한 X,Y축을 고정하지 않고, Varianace (변별력)가 가장 큰 축을 찾아서 프로젝션 하는것이 차이가 있다 하겠다.

IT 이야기 2022. 5. 24. 14:07

업계를 뜨겁게 달구고 있는 몰로코 (MOLOCO) 채용에 지원을 했었다. 요즈음 처럼 개발자 수요가 증가한 경우를 보지 못했었다. 이러한 경향을 맞추어 2021~2022년 개발자들 이직 바람이 불고있다. 현 직장에 거의 불만은 없다. 아니 오히려 TOP급이기 때문에 딱히 어딜 가고 싶지도 않았다. 그러나, 이직 바람으로 마음이 조금 들뜨더라.. 나도 이직 할 때가 된것인가? 평소에 이직을 선호하는 기업이 있지는 않았기 때문에 고민을 해 보았다. 고민 후 객관적으로 선호되는 기업은 나스닥의 FAANG, 그리고 몰.두.센 FAANG 중에서, Facebook(Meta)는 캐나다/미국쪽에 기회가 있었지만 영어 장벽으로 패스 했다. 그리고, 개인적으로 대한민국에서 살고 싶다. Amazon 은 업무강도가 쎈것으로 ..

IT 이야기 2022. 5. 24. 14:04

자꾸만 망각하게 되는 코딩테스트 유형들. 자료구조 기준으로 요약을 정리하고, 활용 사례 및 예제를 정리해 보자. 코딩테스트 하루 전에 숙지해야할 내용들을 정리해 본다. 해시 (Hash) Key-Value 쌍을 이용한 빠른 탐색 해시를 사용하는 대표적인 자료구조는 Dictionary 이다. 키-값 (Key-Value)를 사용하여 자료를 저장하는 해시(Hash) 중에서 Python에서는 Ditionary를 편하게 다루기 위해서 `Counter`, `defaultdict` 등의 라이브러리를 제공한다. 다음은 주어진 `단어배열` (Array of Words)에서 각 단어의 수를 세는 예제이다. Counter()를 이용하면 아래와 같이 단순히 `Counter(array): --> dict`로 그 수를 세어 저장할..

개발 이야기/Python 2022. 5. 24. 14:02

점심을 먹고 산책하다가 꽃향기가 나의 발걸음을 잡았다. 어디서 향기가 날까...? 찾아 보다가 유독 꽃향기가 짙게 배어 있는 꽃을 발견했다. 아래는 산책중, 향기가 좋은 꽃을 직접 찍은 사진. 검색해 보니 "때죽나무" 라고 함. 어라... 그런데, 무언가 위화감이 든다. 평소에 이렇게 진한 꽃향기를 맡을 때는.... 무엇인가.... 꿀벌의 날개짓 소리가 "윙~ 윙~"하고 들리지 않았나? 아무것도 들리지 않고, 아무것도 없다. 심지어는 나비, 꽃등에 등 꽃 근처에 존재하는 곤충들이 없다.. 나는 평소에 이런것에 그다지 관심이 없다. 그 만큼 여유롭지 않았다는 것일 것 같다. 그런데, 문득 오늘에서야 좀 불안감이 몰려 온다. 이거 좀 위험한것 아닌가? 코로나 이전에 이렇게 꽃을 즐길 때는 분명 꿀벌 날개짓 ..

나의 이야기/사회 및 생활 2022. 5. 14. 14:52