OOM 발생 2 - 엑셀파일 다운로드 Apache POI 의 SXSSFWorkbook 사용

 

기존 방식

기존에 엑셀파일 다운로드 하는 방식은 list로  데이터를 가지고 와서 modelMap 에 담아주고 return 할때 new ModelAndView("fileroot/testExcelDownload", modelMap); 이런식으로 엑셀파일을 만들어주고 있었다.

modelMap.put("alist",alist);

 

문제발생 원인

근데 <c:forEach itmes ="${alist}" var = "row" varStatus = "i"> 이렇게 쓰고 있었는데 데이터의 양이 N 만건 정도가 되다 보니 지나지나친 forEach 태그의 반복으로 OOM 이 발생했다. 

 

앞 글에서 말했던것 처럼 자세한 이유는 아래와 같았다.

 

 Java WAS의 Heap 메모리가 부족해져 Full GC가 지속적으로 발생했고, 결국 Heap 메모리2GB 중 1.6GB를 특정 클래스가 점유하는 문제였다.

 

대략적인 과정은 이랬다.

- 인프라 리소스 특이사항은 17시 19분 부터 cpu 사용률이 급증하기 시작하여 was 프로세스 재기동 전까지 cpu 사용률 90% 과점유
- cpu 과점유는 jboss heap 메모리에서 java.lang.outofMemoryError(OOM) 이 발생하며 메모리 확보를 위한 full GC 수행 영향으로 확인 
- Full GC 수행으로도 java heap 메모리가 확보가 되지 않았고 17:32 에 Interneal Exception 이 발생하며 java crash 발생 
(java crash log 살펴보면 heap 덤프 생성 중 jdk 내부 jplisagent.c 코드 수행 시 에러 메시지 생성 실패한 internal exception 로 특이사항 없음) 
- 따라서 원인분석을 위해 heap 덤프 분석한 결과 , 도메인 통합 관리 서비스의 heap 메모리는 표준값인 2GB 로 할당되어 있으며 이상징후 당시 다량의 org.apache.tagilbs.standard.tag.rt.core.ForEachTag 클래스에서 메모리 2GB 중 1.6GB 과점유하며 발생 

 

문제해결 방식

그래서 '엑셀파일 다운로드 대용량'으로 검색해보니 Java에서 Microsoft Office 문서를 읽고, 쓰고, 관리할 수 있게 해주는 오픈소스 라이브러리 apache 의 POI 라이브러리를 발견했다.

특히 **엑셀(Excel)**을 다루는 용도로 가장 많이 활용된다고함.

 

 

1) 기존 방식과 차이점

아래는 기존의 방식과 어떤 차이가 있는지 챗지피티한테 물어본 결과이다.

apache POI 기반 처리 방식은 JSP 없이 컨트롤러가 직접 파일을 생성하여 제공한다고 한다.

JSP View 처리 방식	JSP가 View로 HTML을 생성하여 사용자 브라우저에 보여줌	HTML 페이지 조회
Apache POI 기반 처리 방식	JSP 없이 컨트롤러가 직접 파일을 생성하여 다운로드 제공	엑셀, PDF 등 파일 다운로드

 

구분	ModelAndView (JSP)	Apache POI (Excel)
화면 출력	HTML로 화면에 직접 출력	화면 출력 없이 파일 다운로드
데이터 형태	HTML로 가공 (View에서 가공처리)	Excel로 직접 가공 (Java 코드로 가공)
템플릿 방식	JSP, Thymeleaf 등의 템플릿 사용	템플릿 없이 Java 코드만으로 생성

 

✔️엑셀파일다운로드 흐름

Client(브라우저)
      │ 요청 (GET /excel/download)
      ▼
Controller ────▶ Service ────▶ DAO/Repository
      │                   (DB에서 데이터 조회)
      ▼ 데이터를 POI로 엑셀로 변환
Excel 파일 생성 (POI Workbook)
      │ 파일을 Response OutputStream으로 전달
      ▼
Client(브라우저)로 다운로드

 

 

+ 추가로

대용량 엑셀파일에 대해 업로드 하는 방식을 구현할 때, 기존에는 DOM 방식을 많이 사용했을 것이다.
여기서 DOM방식은? Document Object Model의 약자이며, 아래와 같은 특징이 있다.

  - XML Parser가 데이터를 추출하면서 Object로 구성하여 DOM Tree를 생성

  - DOM 구조는 모두 메모리에 적재

  - 향후 메모리내 계층간의 Random Access 가능

  - 데이터 모델이 생성 후 사용자의 요청에 따라 데이터를 전달하는 방식(Pull 모델)

 

그림과 같이 각각의 Cell, Row Type, Row, Sheet 등 엑셀의 모든 부분에 대해 DOM 구조로 메모리에 적재하고 있으니...

엑셀파일의 Row와 Cell이 정말정말정말 많아지게 된다면...? (그러면 엄청...느려지구...무거워지겠죠...?)

 

 

이러한 문제로 인해 DOM방식이 아닌 Apache POI 라이브러리에서 제공해주는 SAX방식이 나오게 된 것이다!!!

SAX방식이란? Simple API for XML의 약자이며, 아래와 같은 특징을 가지고 있습니다.

- DOM 구조를 만들지 않음

- 스캔하는 순서대로 이벤트가 발생되며, Random Access 불가

- XML 문서를 스캔하면서 추출된 데이터에 대해 지속적으로 이벤트를 발생시켜, 사용자측으로 데이터를 통보하는 방식(Push 모델)

 

DOM 방식에 비해 SAX방식은 매우 간단하게 구성되어있음

 

 

위에 표에서 보면 가장 큰 목적을 가지고 사용하게 된 이유는 처리속도와 대상문서 때문이라고 볼 수 있다.

dom 방식에 비해 sax 방식이 처리속도가 빠르고, 대용량 문서에 적합하기 떄문에 sax 방식으로 적용하기로 했고

apache POI 가 지원하는 주요 문서 형식으로 여러가지가 있는데 그중 SXSSF 을 선택했다.

HSSF	Excel 97~2003 형식 (.xls)	HSSFWorkbook
XSSF	Excel 2007 이후 (.xlsx)	XSSFWorkbook
SXSSF	대용량 엑셀 문서(.xlsx) 생성 (스트리밍 방식)	SXSSFWorkbook
HWPF	Word (.doc)	HWPFDocument
XWPF	Word (.docx)	XWPFDocument
HSLF	PowerPoint (.ppt)	HSLFSlideShow
XSLF	PowerPoint (.pptx)	XMLSlideShow

 

<-- poi 라이브러리를 사용을 위한 pom.xml 에 의존성 주입-->

<dependency>
  <groupId>org.apache.poi</groupId>
  <artifactId>poi</artifactId>
  <version>3.12</version>

<scope>system</scope>

<systemPath>{project.basedir}/lib/poi-3.12.jar</systemPath>
</dependency>

 

 

 

2) SXSSFWorkbook 사용

 : SXSSFWorkbook은 메모리 사용량을 줄여 대용량 엑셀파일 생성에 적합하다.

• 수만~수십만 건 이상의 대량 데이터를 엑셀로 생성할 때
• 메모리 사용을 최소화하여 OOM(OutOfMemory) 문제를 방지할 때

 

✅ SXSSFWorkbook 사용한 엑셀파일 생성 예시

 

import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.streaming.SXSSFWorkbook;
import java.io.FileOutputStream;
import java.io.IOException;

public class ExcelWriteSXSSFExample {
    public static void main(String[] args) {
        // SXSSFWorkbook 인스턴스 생성 (flush 단위 100 row)
        SXSSFWorkbook workbook = new SXSSFWorkbook(100);
        Sheet sheet = workbook.createSheet("대용량 시트");

        // 행 생성
        Row headerRow = sheet.createRow(0); // 헤더 행 생성
        headerRow.createCell(0).setCellValue("번호");
        headerRow.createCell(1).setCellValue("이름");
        headerRow.createCell(2).setCellValue("점수");

        // 대용량 데이터 예시 (10만건) Cell 생성
        for (int i = 1; i <= 100000; i++) {
            Row row = sheet.createRow(i);
            row.createCell(0).setCellValue(i);
            row.createCell(1).setCellValue("이름-" + i);
            row.createCell(2).setCellValue(Math.random() * 100);
        }

   

String filename = "test"+currentDate + ".xlsx";

Stirng encodedFilename = URLEncoder.encode(filename , "UTF-8").replaceAll("\\u002B","%20");

response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");

response.setHeader("Content-Dispostion", "attachment; filename*= UTF-8""+encoderFilename);

 

workbook.write(bufferedOutputStream);

bufferedOutputStream.flush();

    }
}

 

 

 

아래 코드가 필요한 이유 

Stirng encodedFilename = URLEncoder.encode(filename , "UTF-8").replaceAll("\\u002B","%20"); 

파일명 인코딩 부분

• 브라우저는 HTTP 응답 헤더의 파일명을 받을 때 특수 문자나 한글 등을 제대로 처리하지 못할 수 있다.
• 파일명에 한글이나 공백이 있으면 깨질 수 있어서 이를 방지하기 위해 파일명을 URL 인코딩하여 처리하는 것

 

 

response.setContentType("application/vnd.openxmlformats-officedocument.spreadsheetml.sheet");

위 코드의 경우 HTTP 응답을 받은 브라우저에게 전달되는 데이터가 엑셀 파일임을 명시적으로 알려주는 역할을 함

 

 

response.setHeader("Content-Disposition", "attachment; filename*= UTF-8""+encoderFilename);

 

• 브라우저에게 다운로드할 파일의 이름과 인코딩 방식을 지정해줍니다.
• 특히 국제 표준(RFC 5987)에 따른 filename* 방식은 다양한 브라우저에서 UTF-8 인코딩된 파일명을 지원
• attachment: 브라우저에서 이 파일을 첨부파일(다운로드)로 처리하도록 설정.
• filename*: 인코딩 방식을 UTF-8로 명시하며 인코딩된 파일명을 지정.

 

workbook.write(bufferedOutputStream);

Workbook 객체는 메모리에만 존재하는 상태이며,
이를 실제 브라우저나 파일로 내려주기 위해 출력 스트림으로 데이터를 기록하는 과정입니다.

 

동작 과정

• Apache POI가 메모리에 담아둔 Workbook 데이터를 OutputStream으로 전달합니다.
• 데이터를 전달하면 브라우저는 이 데이터를 받아 엑셀 파일로 다운로드합니다.

 

bufferedOutputStream.flush();

• Java의 BufferedOutputStream은 데이터를 성능 향상을 위해 버퍼에 임시로 저장합니다.
• 버퍼에 담긴 데이터를 즉시 클라이언트(브라우저)로 내보내기 위해 명시적으로 호출합니다.

이 코드를 호출하지 않으면?

• 데이터를 출력 스트림으로 전달해도, 버퍼가 가득 차기 전까지 데이터가 즉시 전달되지 않을 수 있음
• 파일의 끝부분이 전송되지 않아 엑셀 파일이 깨지거나 손상될 수 있음

 

 

https://poi.apache.org/

Apache POI™ - the Java API for Microsoft Documents

대용량 엑셀 다운로드 OOM(Out Of Memory) 해결 과정

https://devinn.dev/blog/detail/237

Blog | Dev.Inn | Apache POI 라이브러리에 대해 파해쳐보자!!!