1. 딥 러닝 공부를 시작하면서..

이제는 너무 늦었단 생각이 들었지만..

채찍피티와 LLM이 넘쳐나고 

또 이제는 이미지에서 동영상 심지어 채찍피티-4를 탑재한 로봇이 나와서 사람에게 사과를 쥐어주는 세상이 왔다.

하지만 그렇다고 열중 쉬어자세료 가만히 있을 순 없으니 천천히 딥러닝을 퇴근하고 공부를 하고 그날 학습한 내용에 대해서 정리하고자 글을 작성해 보겠습니다.

이번 포스팅은 나중에 제가 설치하거나 기본적인 개념을 위해 설치과정과 기본만 넣었습니다.

---

1. 자연어 처리 준비

자연어란 우리가 일상생활에서 사용하는 언어를 말한다.

자연어 처리란? 이러한 자연어의 의미를 분석하여 컴퓨터가 처리할 수 있도록 하는 일

=> 음성인식, 내용요약번역, 사용자의 감성 분석, 텍스트 분류 작업, 질의응답 시스템, 챗봇과 같은 곳에서 사용되는 분야이다.

자연어 처리에 필요한 전처리 방법, 딥 러닝 이전 주류로 사용되었던 통계 기반의 언어 모델에 대한 지식이 필요하다.

머신러닝 학습을 위한 준비

머신러닝 학습을 위해서 많은 패키지가 필요하며 그것을 모아놓은 패키지인 "아나콘다" 설치를 해야 한다.

설치 링크 https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Windows-x86_64.exe

https://repo.anaconda.com/archive/Anaconda3-2024.02-1-Windows-x86_64.exe

기본적인 세팅

아나콘다 설치가 다 되었다면 프롬프트 오픈

아나콘다 프롬프트

아나콘다 파이썬 패키지 전부 최신버전으로 업데이트

 conda update -n base conda
 conda update --all

2. 구글 코랩(Colab)

텐서플로우는 기본적으로 64비트 플랫폼만 지원하므로 32비트 환경에서는 딥 러닝 학습환경에 어렵다.

그래서 인터넷만 되면 바로 파이썬을 학습할 수 있는 구글의 코랩이 있다. 구글의 코랩은 주피터 노트북과 유사하다.

예전부터 조금씩 학습하면서 썻지만 다시 복습차원으로 끄적여본다.

새노트를 만드는 법

시프트+엔터 또는 알트엔터 , 컨트롤 엔터를 쓴다. 나는 컨트롤 엔터를 쓴다.

무료로 GPU 사용하는 방법!

딥 러닝에서는 CPU 보다는 GPU를 많이 쓴다. 코랩에서는 GPU를 무료로 사용할 수 있다는 점이다. GPU가 장착된 컴퓨터가 없는 경우 코랩에서 GPU를 사용하면서 딥 러닝을 학습하는 게 좋다.

GPU가 없다면 정말... 오래 걸릴 것이다...

GPU 사용하는 방법이다. 하드웨어 가속기를 CPU에서 T4 GPU로 변경했다.

3. 필요 프레임워크와 라이브러리 설치

텐서플로우

 pip install tensorflow

설치확인 방법

ipython

import tensorflow as tf
tf.__version__

케라스

pip install keras

젠심

젠심은 머리신러닝을 사용하여 토픽 모델링과 자연어 처리 등을 수행할 수 있게 해주는 오픈 소스 라이브러리이다.

pip install gensim

사이킷런

pip install scikit-learn

주피터 노트북 - 아나콘다를 설치 안 했을 때 

 pip install jupyter

 

 

4. 자연어 처리를 위한 NLTK와 KoNLPy 설치하기

텍스트 전처리를 위한 기본적인 자연어 패키지들이다.

NLTK

자연어 처리를 위한 파이썬 패키지

 pip install nltk

NLTK의 기능을 제대로 사용하기 위해 NLTK Data라는 여러 데이터를 추가적으로 설치해야 한다.

이를 위해 파이썬 코드 내에 함수로 download()로 수행하면 될 것이다.

ipython

import nltk as n
n.download()

대강 요런식으로 나타난다.

각종 패키지와 코퍼스를 다운로드할 수 있다. 오른쪽은 다운로드하는 모습입니다.

KoNLPY 설치

코엔엘파이는 한국어 자연어 처리를 위한 형태소 분석기 패키지이다. 프롬프트에서 아래 커맨드로 설치한다.

 pip install konlpy

JAVA와 파이썬을 연결해 주는 JPype 설치

 pip install JPype1-1.5.0-cp311-cp311-win_amd64.whl

설치가 안된다면 https://github.com/jpype-project/jpype/releases

Releases · jpype-project/jpype

링크 타고 가면 된다. 나는 윈 64비트를 쓰고 있어서 JPype1‑0.6.3‑cp36‑cp36m‑win_amd64.whl 를 설치받으면 된다.

다운로드하고 , 지금 아나콘다 프롬프트의 디렉터리를 조금 움직이고, 그 디렉터리에 다운로드한 파일을 두고 위의 명령어를 실행한다.

다운로드하고 나는 zhflk라는 내 폴더에 jpype를 새로생성했으며, 거기로 이동해 설치

설치가 완료된 모습

---

이것으로 완전 기초 중의 기초중 하나인 기본 라이브러리 설치를 끝냈다.

다음엔 판다스, 넘파이, 맷플롭립 등을 학습해 보겠습니다.

대학공부하면서 조금씩 학습했고 설치해 보고 개념을 배워와서 어느 정도 이해된 수준으로 학습을 하고 정리하겠습니다.