[JAVA]Jsoup 라이브러리를 이용한 크롤링 - Jsoup 사용법 + 라이브러리 저장하는 법

안녕하세요~! ㅎㅎ

오늘 포스팅은 그동안

크롤링를 하여 네이버 금융의 정보를 가져왔었는데 

크게 사용되었던 라이브러리인

Jsoup 라이브러리 사용법 에 대해서 알아보겠습니다!

1. 라이브러리 적용 및 설치

2. 사용 방법 및 매서드 소개

크게 두가지로 진행하고자합니다.!!

그리고 우리가 그 동안 프로젝트로 

진행하고 사용했던 프로젝트도 링크로 걸어 드릴테니 

'아 이렇게 사용했구나'

하는 정도로 봐주면 감사하겠습니다!!

https://uno-kim.tistory.com/206

- 코스피정보 가져오기

네이버 금융페이지를 몽땅 가져와보자! - 코스피, 코스닥을 긁어오자!

https://uno-kim.tistory.com/208

- 시가총액 상위, 주요뉴스, 매매동향 등 가져오기

네이버 금융 크롤링 : 다른 정보들도 모조리 긁어와보자!

https://uno-kim.tistory.com/209

- 환율, 금리, 유가 등 기타 상품 및 선물 가격 가져오기

네이버 금융 크롤링 : 환율 금리 유가 차트 이미지를 가져와 보자!

https://uno-kim.tistory.com/210

- 개별 주식 상세정보 데이터 몽땅 가져오기

네이버 금융 크롤링 : 주식 종목 가져오기

---

1. 라이브러리 설치 및 적용

우선 라이브러리를 사용하기 앞서서 우리가 사용하는 라이브러리에

적용을 해서 사용해야합니다.

그것을 위해 설명드리겠습니다.

첫번째로는 이클립스에 추가하는 방법

입니다.

이것은 해당 페이지에서 라이브러리를 물리적으로 다운받은 후 이클립스 또는 해당 리파지토리에 저장하는 방법으로

다양한 환경에서도 해당 버전을 무조건적으로 임포트 받아 적용할 수 있다는 장점이있습니다.

그리고 메이븐 pom.xml을 따로 최신화하고, 관리하지 않아도 되며 다른 프로젝트에서도 사용하기 용이합니다.(복붙하면 되기에)

대신 프로젝트의 용량이 조금 커지며(크게 체감없음) 

나중에 classpath를 적용해야할 수도있으며,,, 각자 환경설정이 조금 틀어진다면 추가를하거나 조금 옮겨야할 수도있으며,,, 등등등

조금 작은 불편함이 생길수 있다는 단점이 있습니다.

한번 우선 제일 간단한!!! 어짜피 개인프로젝트로만 사용한다면!!! 

첫번째로 Jsoup 라이브러리 이클립스에 적용하는 방법에 대해 알아보겠습니다.

다운로드 사이트 : https://jsoup.org/download 

위 사이트에 한번 접속을 한다면

위와 같은 사이트를 접하실 수 있습니다.(22.11.01 기준 화면)

여기서 맨위의 jsoup-1.15.3.jar 를 눌러봅니다.

그렇게 다운로드를 해주시구요

이제 이클립스에 라이브러리를 추가해 주겠습니다.

다운로드 받은 파일을

제가 주로 테스트를 진행하던 리파지토리( 프로젝트 파일 )에

추가해 보겠습니다.

 

마우스 오른쪽 클릭!

해주시고 맨밑에 Properties 를 눌러줍니다.

그럼 위와같은 화면이 나옵니다. 또는 다른 화면이 나올수 있습니다!!

저와 다른화면이 나오신분들은

 

좌측 검색 기능이있는데 java b 까지만 입력해주셔도 맨위에 원하는 화면으로 가는 링크가 나타나니

해당 링크를 누르고 라이브러리를 추가하는 화면으로 넘어갑니다.

Add 외부 jars 클릭 해주세여!

그럼 다운로드 파일에 있는 Jsoup파일을 눌러서 열기를 해줍니다.

그럼 위와 같이 jar 파일이 들어간것을 볼 수 있습니다.

그리고 하단의 Apply and Close 를 눌러서 저장합니다.

그럼 아래와 같이 

해당 라이브러리가 저장된것을 확인 할 수 있습니다.!!!

그럼 

아래와 같이 해당 클래스, 라이브러리를 사용할 수 있습니다.!!!

그러나 잠깐!

이렇게 로컬 환경에서만 적용한다면

나중에 팀프로젝트라던가 이 리파지토리를 공유해야할 상황이온다면

로컬PC의 경로로 저장된 라이브러리의 경우에는 에러가 발생 할 것입니다.

그래서 해당 리파지토리에 직접저장하여 로컬환경이 아닌 어떤 환경에서도 해당 라이브러리, JAR 파일을 사용할 수 있도록 해보겠습니다.

---

리파지토리에 라이브러리 저장하기

해당 작업은 의외로 간단하나 설명이 없다면

초심자에겐 조금 헤맬수 있습니다.

작업중이신 리파지토리에 파일을 새로 하나 만듭니다.

그리고 폴더의 이름을 library 의 약자인 lib 으로 짓겠습니다.

생성된 모습입니다.

그리고 해당 jar파일을 드래그앤드랍을 해주시면!

이런 팝업 창이 나옵니다. OK 를 눌러주세요

그럼 아래와 같이 추가가 되었구요

아까 그 라이브러리를 등록하는 화면에서

Add Jar를 눌러봅니다.

그리고 아까 추가한 jar 파일의 경로대로 찾아간다면

두둥!!!! 그대로있습니다!!! 그걸 추가해준다면?!

우아!!!

해당 경로도 이제 해당 프로젝트, 리파지토리에 등록된것을 볼 수 있습니다!!

이렇게 저장된다면 언제 어디서든 가능하겠군요!!!

---

pom.xml 을 통한, Maven을 통한 의존성 주입

이번엔 pom.xml 과 maven을 통해서 의존성을 주입하여 

라이브러리릉 사용하는 방법에 대해서 알아보겠습니다.!!!

ㅎㅎㅎ

파일을 물리적으로 임포트 하는것도 중요하지만 

이런 과정들을 개발자들이 개발에만 조금더 몰두? 할 수 있게끔

해당 의존성을 주입하고 빌드를 돌리는 것으로 

라이브러리를 주입할 수 있답니다.

의존성 주입을 위해 잠시 해당 라이브러리를 삭제해보겠습니다.

삭제하여 에러가 난 모습니다.

우선 우리는 라이브러리를 다운로드 받지 않았다는 생각으로 

우리 모두를 속이고 진행해보겠습니다.

다시 사이트에 접속해 보겠습니다! https://jsoup.org/download

Download and install jsoup

 

그리고 해당 사이트의 

빨간 표시줄의 부분을 한번 봐봅니다.

에엥??

블로그 양반,,, 이게 뭔소린가??

네 조금 어려울 수 있스비다..

하지만! 우리에게도 이런 파일이 있습니다.

바로 pom.xml 인데요

이 파일은 프로젝트를 생성하실때 최초 maven project 로 생성하시면 가장 기본값으로 생성된답니다.

해당 파일의 거의 기본값과 근접한 화면입니다.,

중간에 제가 프로젝트 진행하느라 POI 라이브러리를 추가한 것이 있는데 위 내용도 추후 설명드리겠습니다.

해당 디펜던시를 제외하면 기본중의 기본입니다.

아까 빨간네모박스의 값을 추가해 봅니다.

추가하는 방법에 대해서 스샷으로 찍어서 보여드리고 소스도 공유하겠습니다.

		<dependency>
			<!-- jsoup HTML parser library @ https://jsoup.org/ -->
			<!-- 크롤링을 위한 의존성 주입-->
			<groupId>org.jsoup</groupId>
			<artifactId>jsoup</artifactId>
			<version>1.15.3</version>
		</dependency>

해당 빨간 네모박스를 그대로 복붙하고 저만 알아 볼 수 있게 주석도 달아놓은 상태입니다. 

그리고 이것을 그대로 두면 돌아가느라?!

물론 설정을 그렇게 하셨다면 돌겠지만

수동으로 돌릴 수도있습니다.

이것을

"빌드 돌리다"

라고도 합니다.

우선 빌드를 돌리기위해서 

프로젝트 우클릭, 메이븐,업테이트 프로젝트를 눌러서 

진행해보겠습니다.

빌드돌리실 프로젝트선택하신 후 

오케이를 누르시면 빌드가 돌고 

해당 오류가 사라지고 미사용하는 경고가 발생한 것을 알 수 있습니다.

오늘은 이것으로

네이버 금융 주식 정보 크롤링 을 위한 라이브러리 : Jsoup 을 다운받고 

설치하고 의존성 주입하는 것까지 알아보았습니다.

다음 포스팅에서는 해당 라이브를 구석구석 알아보는 포스팅을 올리겠습니다.

감사합니다.