https://girinprogram93.tistory.com/62 [CURSOR PAGING] 커서 페이징처리. 🥞 오프셋 기반 페이징에서 -> 커서 방식 페이징으로 변경하기 전에 미리 알아보려 한다. 🥞🥞 오프셋 기반 페이징의 단점 : LIMIT / OFFSET 을 이용할 경우 offset이 늘어나는 양에 따라 비효율적인 girinprogram93.tistory.com 작업 환경 : java 1.8 / spring boot / gradle / jdbcTemplate / tomcat 9.06 / MySQL 🍔 지난번의 커서 기반 페이징 S3 삭제 요청에 이어서 최종본이다. ( 지금은 삭제된 데이터를 전수검사하고 있다. ) 🥣 상황 : S3 스토리지에 삭제 대상인 특정 오브젝트가 1억 4천만건이 존재하며..
EC2 인스턴스의 공간이 부족해서 EFS를 새로 마운트 하려한다. 🍟 기존 EC2에서 EFS를 마운트 하되 경로는 /data로 설정하였다. 최종 결과는 다음과 같이 보임. $ df -h 설정 : EFS를 생성한다 가용 영역은 EFS를 사용하고자하는 EC2 인스턴스가 있는곳으로 설정한다. 마운트하고자하는 EC2 인스턴스에서 네트워크 - 보안 탭의 인바운드 규칙을 편집한다. 보안그룹 규칙과 원본의 보안그룹이 EFS에 마운트하는 보안그룹과 일치해야 한다. 생성 시, NFS 프로토콜로 생성해야 함에 유의. EFS 를 선택하고 우측 상단 연결버튼 클릭 🍕 탑재 헬퍼를 쓴다면, aws에서 제공하는 amazon-efs-utils 패키지를 설치해야 한다. 탑재 헬퍼 명령어를 복사해서 , EC2 인스턴스에서 아래 커맨드..
목적 : 삭제 총 타겟 : DB상에 있는 데이터 기준으로 1억 8천만 건에 해당. JAVA 에서 aws SDK 를 이용한 삭제 요청시에는 1회 요청 최대 오브젝트 수가 1000개로 제한되어있음. 따라서 비동기방식으로 DB의 데이터를 1000건씩 조회 해서 삭제 요청을 계속 던지는 쓰레드를 구현 하려 함. controller : @ApiOperation(value = "aws s3 object delete api", notes = "") @RequestMapping(value = "/del/{offset}", method = RequestMethod.GET, produces = MediaType.APPLICATION_JSON_VALUE) public ResponseEntity s3DeleteObjList(..
🥃 외부 접속 ip 및 port 정보를 내부 port 로 매칭시키려 함. EC2 인스턴스 준비는 생략. $ sudo iptables -t nat -A PREROUTING -i eth0 -p tcp --dport 9300 -j REDIRECT --to-port 9300 $ sudo iptables -t nat -L --line-numbers AWS EC2 를 쓰고 있으므로 사용 인스턴스의 인바운드 규칙에 port를 설정해야 한다. * 아웃바운드 규칙은 기본적으로 모두 열려있다. 잘 열렸는지 체크. $ echo > /dev/tcp/127.0.0.1/[port] $ echo &? echo $? 에서 리턴이 0으로 온다면 잘 실행되었다는 뜻임. * 기타 이유로 삭제가 필요 할 경우 : $ sudo iptable..
