[Python] ktx-gacha toy project / ktx 매크로

ktx macro

 

🤖 뭘 만들었는가?

       ktx 예매 편리를 위한 가챠 매크로다. 카카오 채널 챗봇과 연계한 매크로..!

🤖 왜? 

올해 2월에 설날에 예매하는게 힘들어서 진작에 만들려다가 미루고 미뤄서 이제 막 만듦

추석이 다가오니까

 

🤖 얼마나 소요?

2~3주 ( 약 14일 정도 걸렸다 주말  포함)

 

🤖 세팅 선택 기준?

python 3.8 / django / selenium 4.11 / oracle cloud / ubuntu 18 / docker

 

1. python :

기존 회사 개발 언어가 파이썬으로 된 프로젝트가 있었으므로 편하게 빠르게 개발하기에 좋을것이라고 생각 

더불어서 셀레니움과 파이썬 조합으로 동적 크롤링에 대한 예제가 풍부했음. 

 

2. django :

rest web framework 가 필요했음 django 가 익숙했고, 카카오 채널을 통한 챗봇과의 통신이 필요했으므로 선택

 

3. selenium 4.11 :

oracle cloud 에서 headless 모드로 크롬 브라우저를 긁어올 때 리소스 정리가 쉽다는 점에서 선택

 

4. oci ubunt 18 , docker :

초기에 리눅스 8 버전을 썼으나, 크롬 설치 등에서 막히는 부분이 많아서 버전을 낮추고 대중화된 ubuntu 18 로 선택

그리고 oci 는 무료 버전의 서버를 제공해준다는 점이 있어서 선택. 물론 리소스가 풍부하진 않다.. 무료니까.

 

🤖 초기 구현 계획 :

 

🤖  Todo :

Todo

process

1. 플로우 차트
2. 티켓 검색 조건 (to - go, 날짜,좌석, 등급, 인원)
3. 실제 예약까지 소요 시간? 표 유무에 따라 다름
4. 리소스 필요 정도 <- 어차피 오라클 클라우드 무료버전이라 리소스를 따질 방법이 없어요..

code level

1. 요청 URL hard coding 제거
2. tag id 등 바뀔 경우 어떻게 대처 할 지 고민 필요.
3. 공통으로 사용 할 Response 형식 정의 필요. 일관된 형식으로 리턴해야 함.
4. Selenium 속도 향상 ( 특히 목록 조회 )
5. 예약 대기로 인한 리소스 사용량? 예약 대기 시간?
6. 예약 반복을 위한 Thread 처리 필요.

매크로 기능

1. 로그인
2. 목록 조회
3. 조건에 따른 타겟 선정
4. 예약을 위한 검색 반복 - 선택 결제 대기 또는 장바구니 ( 20 분 내로 결제 필요 )
5. 알림 카카오 챗봇 <- 챗봇 테스트 사용까지 심사기간이 5일 정도 소요
   1. 5초 이상 시간이 걸릴 경우, callback기능이 필요한데 AI챗봇으로 전환이 필요함.
   2. 무료 MMS 발송 방식으로 수정.

예약

1. 예약 방식
   
   1. 출발 시간(필수) + 차종(선택) + 객실 유형(선택) + 인원(필수) + 알림 받을 사용자 정보
   2. 20분 이내의 열차는 사이트에서 예약이 안됨.
2. 직접 결제는 복잡하므로 장바구니로 진행.
   
   1. 장바구니에 정상적으로 담겼을 경우 - 사용자 알림.
   2. 조회 - 예약 - 알림 순
   3. 알림 - 카카오 챗봇 ( 월 1000건 무료)
3. 장바구니 없이 예매 버튼만 눌러도 발권 예약 탭으러 표가 넘어감
4. 2인 이상일 경우 좌석 선택 방식 확인 필요. 차후 구현 예정
   1. 붙어서 선택
   2. 나뉘어서 선택.
   3. 창측, 통로층, 역방향, 순방향 등 옵션 많음. + 특실/우등실 , 일반실
5. 하나만 선택하던지, 범위에 해당하는 표를 선택하던지.
   
   1. 표를 어떤 기준으로 선택하는지 확인 필요 ( 예약 요청 기준 ) -- gacha니까 랜덤으로 주는것도 방법인가
   2. 특정 시간대를 하나 설정 ( 정각 기준 ) 이후 8~9개 정도의 시간표가 나오는데 보통 선택 시간과 3시간 정도 차이가 나는 듯 ( 역마다 다름 )
   3. 예약시 조회되는 테이블 컬럼 개수 다 다르고, 테이블 자체가 안나올 수가 있음. 예외 처리가 많이 되어야 함. ㅜㅜ

프로젝트 세팅

1. env 설정으로 코드값들 변경
2. DB 사용 X

사용자 연계

1. 외부 API 연동 ( 카카오 채널 )
2. 카카오 챗봇 시나리오 필요. (api 스킬의 경우 서버와 통신 타임아웃이 5초)
   1. 로그인
   2. 조회
      1. 조회는 문제가 없으나 5초 안에 처리해줘야 함..
      2. 아무래도 조회 단계는 건너뛰고 예약만 처리해야 할 듯. 5초 내로 하기에는 클라우드 서버의 리소스가 부족한 듯
      3. AI 챗봇으로 콜백으로 1분 내에 처리 해줘야 함. 조회와 같은 경우 조회 사항은 콜백으로 처리하는 게 좋을 듯함.
   3. 시간대 선택
3. 예약 후 알림 (MMS 또는 SMTP 사용.)

 

🤖 전체 코드 및 동작 예시 :

github : https://github.com/jaemanc/ktx_gacha

GitHub - jaemanc/ktx_gacha

 

 

🤖 어떻게 쓰나?

채널에서 로그인 - 조회 - 예약을 통해 쓴다.

 

 

로그인 :  평소에 멤버십 번호로만 로그인해서 이렇게 만들었다.

로그인을 성공했다면, 시간표를 조회하든, 표를 바로 예약하러 가든. 두가지 선택지 중에 하나를 선택하면 된다.

 

초기 구현 계획과 달리 시간표 검색을 생략해도 좋을 것 같았다, 시간표 검색 크롤링 느리기도 했을 뿐더러, 어차피 예약도 같은 조건으로 예약 요청을 하게 되고, 표를 찾을 때까지 돌리게 되기 때문이었다. 

 

 

물론 설계를 잘못한 점이 있다. 

 

자연스럽게 조회 이후 조회된 값으로 예매를 요청하는 게 생각보다 쉽지 않았다.  <- 챗봇이 지원하는 기능을 조금 더 살펴봤으면 됐을 텐데,

 

나중에 알았지만, 

챗봇 기능 중 리스트 아이템에 조회한 열차 목록을 보여주고,

목록별 링크로 API를 호출하도록 했다면 어땠을까 싶은 아쉬움이 있다. 

 

 

챗봇 동작은 

사용자 발화 ( 내가 챗봇에게 보내는 말들 ) - 챗봇 서버에서 발화 키워드 캐치

-> 스킬 ( 콜백 API 또는 ktx-gacha-server 연계  - python api - 콜백 응답 - 챗봇 서버 callbackUrl로 챗봇 응답 요청)

순으로 이루어지며,

굳이 콜백을 사용하지 않아도 좋다. 하지만 조회와 예매는 5초이상 걸리는 API 였기 때문에 콜백 API를 쓸 수 밖에 없다.

콜백기능은 AI 챗봇 요청을 해야한다.

 

 

챗봇의 경우 서버로부터 콜백 API 기능을 쓰겠다는 리턴을 우선 받고, 서버는 응답 이후 쓰레드내부에서 로그인- 로그인 성공에 대한 정보를 챗봇 callbakUrl에 POST 메소드로 던지게 된다. 

 

지금이야 쉽게 구현하지만, 처음에는 헷갈려서 문의를 많이 헀다. ( 공식문서를 조금 더 꼼꼼히 봐야 한다. )

 

 

 

그리고 의도된 사항인지 아닌지는 모르겠지만(채널이 정식오픈된 채널이 아닌것도 이유가 될 수 있을 거라고 생각한다)

 

카카오 측에 콜백을 사용하겠다는 리턴 메세지는 배포된 챗봇의 버전과 동일해야 하고, 

 

실제 챗봇에서 보여주는 메세지는 버전이 2.0 이어야만 보여지는 에러? 오류? 가 있다. 

 

 

나중에 메일로 답변이 오면 다시 수정하곘다.

 

영업일로 3일 소요 한다고 합니다.

 

로그인을 했으니

 

시간표를 조회한다.

발화를 캐치해서 시간표 블록으로 이동하려 했으나, 발화 캐치보다 링크로 이동하는게 빠르니까 요렇게 수정했다.

 

조회 시, 조건을 조금 더 간단하게 하거나, 챗봇에서 선택지를 던져주는 방식이 조금 더 직관적이고 편할 수도 있겠다고 생각한다 이것도 아쉬운점. 

 

어쨋든 조회하고, 

 

조회 시간이 1분 가까이 소요 된다. 

 

조회 했으니 예매도 해본다.

예매도 해본다. 예매는 쓰레드를 통해 표를 찾을 때까지 최대 30분 동안 반복해서 페이지를 서치한다.

 

30분까지 이어지는 콜백 API 는 없으므로, 이메일을 통해 예매 사항을 전달 받도록 했다.

 

업무 시간에 토이 프로젝트를 테스트 해보았다.

 

 

성공적인 예매로 고맙다고 말해보았다. 

 

아낌없이 주는 챗봇이다.

 

 

예매는 20분 내로 사이트나 앱에서 직접 결제를 해야한다. 처음에는 결제까지 계획했지만,

결제는 법인 또는 개인 사업자가 있어야 한다네..?

 

그리고 아직 할인이나 포인트를 등록하는 로직은 넣지 않아서 손해볼수있으니까.

 

 

🤖 채널은 공개하지 않았습니다. 매크로를 상업적으로 이용하면 안된대서

 

 

 

🤖 힘들었던 점?

셀레니움 크롬 브라우저 관리가 힘들었다. 브라우저 종료에서 빠져나가는 항목이 있을 경우 다음과 같이 크롬 창이 계속 띄워지고 프로세스를 잡아먹고 서버가 느려진다.

 

셀레니움 세팅에 대해서도 많이 알아둬야 했다.

https://github.com/SeleniumHQ/selenium/issues/12583

[🐛 Bug]: invalid session id in ubuntu 18 / docker environment · Issue #12583 · SeleniumHQ/selenium

다행히 질문에 친절히 답해준 개발자가 있어서 세팅도 적절하게 했다.

 

 

그 외에 챗봇이 말을 너무 안들어서 힘들었다. ( 콜백 테스트는 배포환경에서만 테스트가 가능해서 디버깅 시간이 더 오래 걸렸다.)

 

 

 

oci - ubuntu 18.0 서버의 디버깅이 힘들었다. GUI 환경이라면 chrome 브라우저를 띄우고 직접 개발자 도구를 통해 디버깅이 됐으나 무료 서버는 GUI로 전환하자마자 느려지고 리소스를 많이 잡아먹었기 때문에 ㅜㅜ 

 

그 외 docker 연결 세팅 - github action 을 통한 CI - CD 세팅도 , 많은 삽질이 있었다. 

 

 

 

 

 

 

 

 

 

 

 

동적 크롤링을 통해 웹에서 직접 버튼을 클릭하는 것과 같이 동작하게 만드는 데에 시간이 조금 걸렸다. 

 

특히 크롤링에서 많이 아쉬운 부분인데 태그 값의 아이디나 클래스 또는 네임이 바뀌는 경우, 크롤링도 수정해야한다는 문제가 있다.

 

 

-- 

 

2023 - 09 - 25 

 

이번 추석에도 표를 구하기 정말 힘들었는데 

 

 

 

매크로가 예매를 해줬다.