리치윈드 (RichWind)

맥북 M1 Chip는 Nvidia 그래픽카드를 사용하지 않는다. Apple 자체 개발한 M1 Chip을 사용하며, 이 아키텍처는 CPU와 GPU가 메모리를 공유하는 구조로 되어 있다. 따라서, NVIDA 그래픽카드 메모리에서 구동하도록 만들어진 CUDA 를 사용하지 못한다. pytorch + GPU를 사용하는 대부분 실험과 Application이 CUDA를 사용하는 것을 고려할 때, 이것은 매우 심각한 문제라고 할 수 있다. 그러나, 애플에서 이부분을 고려하지 않을리 없다. 애플 또한 CUDA에 해당하는, M1 Chip의 GPU가속을 사용하도록 지원하는 프레임워크 "MPS"를 지원하고, pytorch 또한 이 MPS를 지원한다. MPS가 세팅되었는지 확인하기 위해서 다음과 `torch.backends.m..

개발 이야기/Python 2023. 11. 13. 17:33

이번 포스팅이서 다루고자 하는 내용은 Python 소스를 배포하고 구동하는 발생하는 어려움 중 하나의 대해서 이야기 하고자 한다. 결론부터 이야기하면, Python 소스를 배포할 때 사용하는 패키지 리스트 (requirements.txt)가 간혹 호환성 (Compatible)이 없을 때가 있다. 필자의 경우는, 이런경우를 수정하고 배포하거나 검증/수정을 하는데, 다른 개발자가 개발한 배포 버전에서 이런 부분이 다수 발견되었다. 다른 분들도 이런 경우가 발생하지 싶어서 포스팅을 남겨 본다. [순서] 1) Python 패키지 배포 (기본사항 리마인드) 2) Python 패키지 리스트 중 발생 가능한 이슈 3) 문제 발생 원인 4) 문제 해결 방안 [결론] 일관된 requirements.txt 포맷을 출력하기..

개발 이야기/Python 2023. 1. 18. 16:09

2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel 2022.12.06 - [개발 이야기/Python] - [Jupyter Kernel 추가] conda 가상환경을 jupyter Kernel로 추가하기 2022.09.19 - [개발 이야기/Python] - [주피터노트북 커널] jupyter lab/notebook kernel 2022.06.17 - [분류 전체보기] - Python 가상 환경 관리 4종 - venv / virtualenv / ipykernel 2020.06.04 - [개발 이야기/Python] - [파이썬] Anaconda x Jupyter notebook 설치 및 설정 방법 - 가상환경으로 파이썬 개발..

개발 이야기/Python 2022. 12. 6. 20:17

지난번 포스팅에서는 conda를 이용하여 가상환경을 생성/확인/삭제 등에 대하여 알아 보았다. conda 가상환경에 대한 글은 아래 글을 참조 바란다. 2022.09.19 - [IT 이야기/IT 상식] - [Python 가상환경] conda 설치 및 가상환경 (feat. 내부 로직 & cheat sheet) 그런데, conda에서 가상환경을 생성하였다고 하더라도, Jupyter Lab 또는 Jupyter Notebook에서는 신규 생성한 가상환경으로 시작할 수가 없다. 물론, 가상환경으로 변경(conda activate) 후에 jupyter Lab 서비스 구동 자체 다시 시작하면 해당 가상환경으로 Jupyter를 사용할 수 있기는 하다. 그러나, 매번 Jupyter 서비스를 다시 재구동 할수는 없지 않겠..

개발 이야기/Python 2022. 9. 19. 23:06

모듈 : 함수들이 뭉쳐진 하나의 .py 파일 패키지 : 여러 개의 모듈을 그룹화한 묶음 라이브러리 : 패키지의 모음을 그룹화 [목차] 파이썬 모듈 만들기 파이썬 모듈 불러오기 (상대경로, 절대경로, 환경변수 등록) 파이썬 모듈 실행 : __name__의 의미 패키지와의 관계 파이썬 모듈 (Python Module) 모든 python 파일 (*.py)는 모듈이며, 각 모듈은 `import`를 통해서 모듈을 추가 할 수 있다. 또한 모듈 안의 모든 함수와 개체 또한 모듈로 볼 수 있다. import 모듈이름 예를 들어, 다음과 같은 코드를 `calc.py`로 저장한 경우를 가정하자. # calc.py def add(a,b): return a+b 모듈 불러오기 이 경우 다음과 같이 모듈을 추가할 수 있다. i..

개발 이야기/Python 2022. 6. 25. 23:42

librosa 설치 오류 Librosa를 처음 설치하다 보면, 아래와 같이 import도 되지 않는 상황이 종종 발생하곤 한다. 아무리, pip 명령어를 만져봐도 시작부터 되지 않는 경우이다. sndfile library not found librosa는 내부적으로, scipy.wavefile과 sounfile 라이브러리를 사용하는데, soundfile 라이브러리 설치가 잘 안되서 발생하는 문제이다. soundfile library는 파이썬 외에 os차원에서 설치해야하는 library가 포함되어 있기 때문에, pip 및 종속성검사로 설치가 되지 않는다. Librosa 공식웹페이지 이외, Github Page를 참조하면, Soundfile을 설치할 때 다음과 같은 사전설치/업데이트가 필요하다고 가이드 되어..

개발 이야기/Python 2022. 6. 2. 15:56

자꾸만 망각하게 되는 코딩테스트 유형들. 자료구조 기준으로 요약을 정리하고, 활용 사례 및 예제를 정리해 보자. 코딩테스트 하루 전에 숙지해야할 내용들을 정리해 본다. 해시 (Hash) Key-Value 쌍을 이용한 빠른 탐색 해시를 사용하는 대표적인 자료구조는 Dictionary 이다. 키-값 (Key-Value)를 사용하여 자료를 저장하는 해시(Hash) 중에서 Python에서는 Ditionary를 편하게 다루기 위해서 `Counter`, `defaultdict` 등의 라이브러리를 제공한다. 다음은 주어진 `단어배열` (Array of Words)에서 각 단어의 수를 세는 예제이다. Counter()를 이용하면 아래와 같이 단순히 `Counter(array): --> dict`로 그 수를 세어 저장할..

개발 이야기/Python 2022. 5. 24. 14:02

[관련 글] 2022.05.24 - [개발 이야기/Python] - [코딩 테스트] 파이썬 코딩테스트 핵심 요약 (CheatSheet) - 코테 1시간전에 꼭 보자. 2022.04.30 - [개발 이야기] - [코테] 코딩 테스트 플랫폼 4종 - 백준, 리트코드, 프로그래머스, 코드시그널 2021.12.16 - [개발 이야기/Python] - 파이썬 오디오 라이브러리 Top 5종 (Python Audio Library ) 2020.12.16 - [분류 전체보기] - [개발] 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.05.09 - [개발 이야기] - [개발] 파이썬 문법 5분만에 읽히기 - 파이썬 기본 문법 요약/정리 8 가지 2018.03.03 - [개발..

개발 이야기/Python 2022. 5. 8. 19:48

[관련 글] 2022.05.24 - [개발 이야기/Python] - [코딩 테스트] 파이썬 코딩테스트 핵심 요약 (CheatSheet) - 코테 1시간전에 꼭 보자. 2022.04.30 - [개발 이야기] - [코테] 코딩 테스트 플랫폼 4종 - 백준, 리트코드, 프로그래머스, 코드시그널 2021.12.16 - [개발 이야기/Python] - 파이썬 오디오 라이브러리 Top 5종 (Python Audio Library ) 2020.12.16 - [분류 전체보기] - [개발] 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.05.09 - [개발 이야기] - [개발] 파이썬 문법 5분만에 읽히기 - 파이썬 기본 문법 요약/정리 8 가지 2018.03.03 - [개발..

개발 이야기/Python 2022. 5. 8. 18:48

2022.05.24 - [개발 이야기/Python] - [코딩 테스트] 파이썬 코딩테스트 핵심 요약 (CheatSheet) - 코테 1시간전에 꼭 보자. 2022.05.08 - [개발 이야기/Python] - [음성인식 - 6라인] 가장 쉬운 음성인식 (STT) 해 보기 2022.04.30 - [개발 이야기] - [코테] 코딩 테스트 플랫폼 4종 - 백준, 리트코드, 프로그래머스, 코드시그널 2021.12.16 - [개발 이야기/Python] - 파이썬 오디오 라이브러리 Top 5종 (Python Audio Library ) 2020.12.16 - [분류 전체보기] - [개발] 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.05.09 - [개발 이야기] - [..

개발 이야기/Python 2022. 5. 7. 17:01

[관련 글] 2022.05.24 - [개발 이야기/Python] - [코딩 테스트] 파이썬 코딩테스트 핵심 요약 (CheatSheet) - 코테 1시간전에 꼭 보자. 2022.05.08 - [개발 이야기/Python] - [음성인식 - 6라인] 가장 쉬운 음성인식 (STT) 해 보기 2022.04.30 - [개발 이야기] - [코테] 코딩 테스트 플랫폼 4종 - 백준, 리트코드, 프로그래머스, 코드시그널 2020.12.16 - [분류 전체보기] - [개발] 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.05.09 - [개발 이야기] - [개발] 파이썬 문법 5분만에 읽히기 - 파이썬 기본 문법 요약/정리 8 가지 2018.03.03 - [개발 이야기/Pytho..

개발 이야기/Python 2021. 12. 16. 22:10

PIP 오류 : 아무것도 할 수 없다. PYthon으로 개발을 하다 보면가상환경을 만들거나 PIP Install를 빈번하게 사용한다. 그런데, 간혹 PIP 자체가 에러를 보인다. PIP ImportError 다음은 필자가 가상환경(Virtual Env.)에서 몇몇 모듈을 설치하다가 겪은 오류중 하나이다. 환경은 MacOS (Big Sur) 환경이다. $ pip --version Traceback (most recent call last): File "/Users/windstream/anaconda3/envs/Pytorch/bin/pip", line 7, in from pip._internal.cli.main import main File "/Users/windstream/anaconda3/envs/Pyt..

개발 이야기/Python 2021. 7. 16. 14:30

관련글 2020/05/09 - [개발 이야기] - 온라인 IDE - 개발 환경 구축 없어 어디서나 웹브라우저로 개발하기 2020/05/09 - [개발 이야기] - 파이썬 문법 5분만에 읽히기 - 파이썬 기본 문법 요약/정리 8 가지 2020/05/09 - [개발 이야기] - 파이썬 문법 5분만에 읽히기 - 파이썬 기본 문법 요약/정리 8 가지 2020/04/30 - [개발 이야기] - 코딩시험 대비 - 웹 IDE(구름IDE)로 개발(Coding)환경을 구축해 보자. 2020/04/22 - [IT 이야기/IT 상식] - Python 환경 1분만에 구성하기 - 크롬 브라우저 플러그인 파이썬 문법을 익히고 간단한 테스트 하는데에, 복잡한 IDE를 필요하지 않습니다. 오히려, 번거롭게 하여 공부하는데 방해만 될..

개발 이야기/Python 2020. 12. 5. 18:26

관련글 2020/12/05 - [분류 전체보기] - [데이터 사이언스] 파이썬/R 온라인 실습기 2020/12/05 - [개발 이야기/Python] - [파이썬] IDE 없이 블로그에서 Python 바로 실습/공부 보다 안정적인 방법으로는, Jupyter Notebook 또는 JupyterHub 등에 Oauth2 인증을 사용하는 방법이 있다. 그러나, 보안에 익숙하지 않은 사용자는 그 개념과 설정 자체가 어려울 수 있어서 간단한 방법을 소개한다. 엄밀히 말하면 이 방법은 보안상으로 체력이 강하는 것은 아니다. 다만, 잠깐이나마 사용할 수 있는 방법을 제시한다. Jupyter Notebook을 외부에서 접속하여 서버로써 사용하기 위하여, 이번 포스팅에서 제시하는 방법은, 1) 패스워드 (sha 기반) 을 ..

개발 이야기/Python 2020. 6. 4. 02:50

1. 아나콘다 (anaconda) 가상환경 생성 하기 아나콘다(Anaconda)를 설치 했다면, 이제 기본적인 파이썬 개발 환경이 구성되었을 것이다. 그러나, 파이썬은 그 용도와 프레임워크가 다양하다. 데이터분석, 머신러닝, 웹프레임워크, Window/Linux Application 개발, UI APP 개발, 심지어는 mobile App개발 환경도 있으며, 그 밖에 패키지 활용에 따라서 다른 용도로도 사용될 수 있다. 따라서, 버전별로 상이한 패키지가 다양한 환경에 설치될 수 있는데, Anaconda 메인 파이썬 환경에 이 들 모두가 설치되면 서로간의 충돌/의존성 문제/버전문제 들을 야기할 수 있다. 또한 더욱 중요한 점으로 패키지에 따라서 특정 버전에서만 구동되는 것을이 있으므로 버전을 맞추어 주어야한..

개발 이야기/Python 2020. 6. 4. 01:32

업무를 하다가 누군가 보안 관련 문의를 해 온적이 있었다. 암호 및 주요 민감 정보는 암호화를 하는 것이 아니라 HASH를 해야 한다고 답변을 해준 적이 있었는데, 특히, SHA-1 이상 SHA-256을 사용하면 좋다는 가이드를 해 주었다. 그랬더니, HASH 를 어떻게 하냐고 묻더라... ㅜ_ㅜ 그래서 아래처럼 간략히 코딩해서 참고만 하라고 보내준 적이 있었는데, 기억이 남아서 기록해 둔다. 좀 시간이 지난 이야기라서 이제는 해쉬라이브러리가 각 언어에서 일반화 되었지만, 사람이 모든것을 기억하고 살기에는 뇌용량이 아깝다. 기억할 필요 없는 것은 좀 적어두고 살자... ^^;;; import sys import hashlib import re def md5(in_file): m = hashlib.md5(..

개발 이야기/Python 2020. 3. 10. 15:02

관련글 2020/12/05 - [분류 전체보기] - [데이터 사이언스] 파이썬/R 온라인 실습기 2020/12/05 - [개발 이야기/Python] - [파이썬] IDE 없이 블로그에서 Python 바로 실습/공부 2020/06/04 - [개발 이야기/Python] - [파이썬] 원격 주피터 노트북 만들기 - AWS에서 나만의 Remote Jupyter Notebook을 구동해 보자. 2020/06/04 - [개발 이야기/Python] - [파이썬] Anaconda x Jupyter notebook 설치 및 설정 방법 - 가상환경으로 파이썬 개발환경 구성 2020/05/09 - [개발 이야기] - 파이썬 문법 5분만에 읽히기 - 파이썬 기본 문법 요약/정리 8 가지 2020/04/30 - [개발 이야기]..

개발 이야기/Python 2020. 3. 10. 14:27

Python x Numpy 추천 문서 [참조 자료] - Numpy 종합 : http://taewan.kim/post/numpy_cheat_sheet/ - Numpy 관련 튜터리얼 : http://cs231n.github.io/python-numpy-tutorial/ - Numpy의 Axis 관련 문서 : http://taewan.kim/post/numpy_sum_axis/ - Numpy Cheatsheet (DataCamp): https://s3.amazonaws.com/assets.datacamp.com/blog_assets/Numpy_Python_Cheat_Sheet.pdf python의 Array Like 개체는 여러가지가 있다. 대표적으로 Python 자체 문법에 해당하는 List / Tuple ..

개발 이야기/Python 2020. 3. 9. 22:35

본문 요약 - 피보나치 수열 - 피보나치 수열이란 무엇인가? - 피보나치 수열을 구현 (python)하는 방법 1) 일반 함수 구현 2) 재귀 함수 구현 3) 제네레이터 (Generator) 방식 4) 메모이제이션 (Memoizatioin) 방식 5) 파이썬 한줄 코딩 (Single Line) 1 6) 파이썬 한줄 코딩 (Single Line) 2 7) 파이썬 행렬 연산 (Numpy) [관련된 글] 2020.12.16 - [분류 전체보기] - 피보나치(Fibonacci) 수열 구현 7가지 방법 - 파이썬 실습/확인 바로하기 2020.12.05 - [개발 이야기/Python] - [파이썬] IDE 없이 블로그에서 Python 바로 실습/공부 2021.05.18 - [개발 이야기] - 코딩 테스트로 SW 실..

개발 이야기/Python 2018. 3. 3. 02:09

Python 스크립트를 Exe 로 컴파일하여 배포할때,첨부 py2exe를 설치한다. (※ exe파일의 안전성을 위해서 확장자를 "ex_" 변경하여 두었다. ==> exe로 재 변경하여 사용할 것) 아래는 스크립트를 컴파일하는 make와 같은 역할을 스크립트 이다. from distutils.core import setupimport py2exe options = { "bundle_files": 1, # create singlefile exe "compressed" : 1, # compress the library archive "optimize" : 2, # do optimize} setup( console = ["url_list_check.py"], # py file to create exe optio..

개발 이야기/Python 2018. 3. 3. 01:16