남궁은

문제 발생대용량 데이터 조회 API에서 응답 지연이 발생하여 SQL 실행계획을 확인한 결과 Full Table Scan이 발생하는 것을 확인하였습니다. 조회 조건에 대한 인덱스 부재로 판단하여 신규 인덱스를 추가했으나, 생성 직후에도 실행계획이 변경되지 않고 기존 Full Scan 방식으로 조회되는 현상이 발생하는 것을 확인하였습니다.

해결DB 옵티마이저는 단순히 인덱스 존재 여부가 아닌 통계정보(Statistics)를 기반으로 실행계획을 결정한다는 점을 확인하였습니다. 이 통계정보는 옵티마이저가 실행계획을 결정할때 사용되는 것으로 갱신되지 않아서 인덱스를 추가했음에도 작동하지 않았던 것으로 판단했고, 바로 적용이 필요했기 때문에 수동으로 갱신하였습니다.

효과실행계획을 재확인하여 Index Scan 여부를 확인하고, 실제 문제 발생 조회쿼리를 실행해보면서도 개선되었음을 체감할 수 있었습니다.

문제 발생사전등록 서비스 운영 중 DB Lock 발생 알림과 함께 이중화 구성된 1, 2번 서버 다운 알림이 연속으로 발생하였습니다. 약 7분 후 자동 복구 시스템에 의해 서비스는 정상화되었으나, 장애 원인 분석을 진행하였습니다. DB 세션 관리자를 통해 Lock 대기 세션과 실행 중인 쿼리는 확인 가능했지만, 최초 Lock을 발생시킨 원인 쿼리는 이미 종료되어 직접 확인할 수 없는 상황이었습니다. 이후 실행된 요청들이 기존 Lock을 대기하며 장애가 발생한 것으로 판단하였습니다.

해결API 실행 시간 및 요청 현황을 분석하던 중 약 15분 이상 실행 상태를 유지하고 있는 API를 확인하였습니다. 해당 API를 분석하는 과정에서 요청 통계를 처리하면서 데이터의 정합성 오류를 발견하였고, 특정 컬럼의 값이 비정상적으로 동일하게 저장된 데이터를 확인하였습니다. 원인 분석 결과, 타 사무실 테스트 과정에서 테스트용으로 사용되었던 것으로 보이는 동적 쿼리 기반 UPDATE API가 호출된 것으로 파악되었습니다. 로직에 필수 조건 검증이 부족하여 테스트 요청이 운영 API로 유입될 경우 전체 데이터가 변경될 수 있는 구조임을 확인하였습니다. 긴급 대응으로 필수 입력값 검증 및 예외 처리 로직을 추가하여 재배포하였으며, 오염된 데이터는 사용자 이용 이력과 정상 데이터를 기준으로 복구 쿼리를 작성하여 야간 작업을 통해 복구하였습니다.

효과DB Lock 장애 원인을 추적하고 장시간 실행되는 API를 식별하여 장애 발생 지점을 분석하였습니다. 또한 데이터 변경 API에 필수 조건 검증을 추가하여 조건 누락으로 인한 대량 데이터 변경 가능성을 제거하고 운영 데이터 정합성을 확보하였습니다.

문제 발생바이오 등록 회원 약 800만 명을 대상으로 개인정보 이용 안내 알림톡을 발송하는 대량 처리 요구사항이 발생하였습니다. 대량 데이터를 단순 조회 후 일괄 처리할 경우 메모리 사용량 증가 및 장시간 실행으로 인한 장애 가능성이 있었으며, 운영 환경 제약사항을 고려한 안정적인 처리 구조가 필요하였습니다. 업무 시간 내에만 발송해야 하며, 기존 배치 작업 수행에 영향을 주지 않아야 했습니다. 회원별 1건 발송 보장, 외부 메시지 발송 제한으로 인한 차단 방지, 전체 대상자 처리 기간 단축을 동시에 만족해야 하는 상황이었습니다. 단순히 발송량을 낮출 경우 전체 발송 완료까지 장기간이 소요될 수 있어 시간당 처리량과 제한 건수를 고려한 발송 전략 수립이 필요하였습니다.

해결Spring Batch 기반 대량 발송 작업을 구현하였습니다. 전체 대상 데이터를 한 번에 메모리에 적재하지 않도록 Chunk 기반 처리를 적용하고, 일정 건수 단위로 데이터를 조회 및 처리하도록 구성하였습니다. 운영 환경 적용 전 발송 테스트를 진행하여 시간당 처리 가능 건수와 외부 메시지 발송 제한 기준을 확인하고, 안정적인 발송량을 산정하였습니다. 또한 알림톡 발송 이력 및 처리 상태를 관리하여 회원별 중복 발송을 방지하고 실패 건에 대한 재처리가 가능하도록 구현하였습니다. 발송 가능 시간을 제어하기 위한 중지 조건을 추가하였으며, 운영 중 수동 중단 시 마지막 처리 데이터 기준으로 중복 발송이 발생하는 문제를 확인하였습니다. 이를 해결하기 위해 단순 종료가 아닌 Job 실행 단위의 execute_id 기반 종료 처리 방식을 구현하여 모든 처리 흐름이 안전하게 종료된 이후 다음 작업이 진행되도록 개선하였습니다. 해당 종료 처리 방식은 이후 다른 배치 작업에도 적용 가능한 공통 구조로 확장하였습니다.

효과약 800만 명 규모의 개인정보 이용 안내 알림톡 발송 업무를 자동화하여 수작업 발송 부담을 제거하였습니다. Chunk 기반 처리와 발송 이력 관리로 대량 데이터 처리 시 안정성을 확보하고, 중복 발송 및 장애 상황에서의 재처리 가능성을 확보하였습니다. 또한 배치 종료 제어 로직을 공통화하여 대량 처리 배치 운영 안정성을 개선하였습니다.

문제 발생기존 C#/.NET 기반 단말 소스를 Python과 Vue 기반으로 대체 개발하며 운영 및 유지보수를 진행하였습니다. UI 개선, 이미지 생성, CSS 수정, 폰트 및 화면 배치 조정, 다국어 적용 등 단말 화면 관련 기능을 개발하였습니다. 프로토타입 형태로 운영 중인 바이오등록 키오스크 환경에서 간헐적으로 장정맥 스캔 진행 중 서비스가 응답하지 않는 현상이 발생하였습니다. 관리자 화면과 등록자 화면이 연동된 구조였으며, 장애 발생 시 단말 재구동으로 현장 관리자들이 복구하는 상황이었습니다.

해결로그를 분석하여 이틀에 한번 꼴로 발생하는 것으로 파악하였고, 장정맥 스캔시 특정 시퀀스 오류 발생 시 서비스 멈춤 현상이 발생하는 것을 확인하였습니다. 원인 분석 결과, 빠른 사용자 응답을 위해 적용했던 스캐너 초기화 및 재시도 로직이 과도하게 동작하면서 장정맥 스캐너에 반복 초기화 요청을 발생시키고, 이 과정에서 시퀀스 오류가 누적되어 장애로 이어지는 구조임을 확인하였습니다. 기존 0.2~0.3초 단위 자동 재시도 로직을 제거하고, 사용자가 재시도 버튼을 반복 입력할 수 없도록 3초간 입력 제한 기능을 추가하여 스캐너 초기화 요청 빈도를 제어하였습니다.

효과장애 발생 로그 분석을 통해 스캐너 연동 과정의 원인을 파악하고 재시도 제어 로직을 개선하였습니다. 개선 적용 이후 기존 하루~이틀에 1회 발생하던 장애가 일주일 이상 추가 발생하지 않아 단말 운영 안정성을 확보하였습니다.