KISTI, 대용량 과학데이터 전송 속도 3분의 1로 줄였다

[대전=이데일리 박진환 기자] 한국과학기술정보연구원(KISTI)은 미국 페르미국립가속기연구소(Fermilab), 오크리지국립연구소(Oak Ridge National Laboratory) 등과 공동으로 대용량 과학데이터를 전송하는 미들웨어 ‘빅데이터 익스프레스(Big Data Express)’를 개발했다고 15일 밝혔다.

빅데이터 익스프레스는 대용량 과학데이터를 신속하고, 효율적으로 전송하는 기술을 말한다.

최근 가속기 및 관측 장비 등 대형 연구 장비에서 생산되는 데이터의 규모가 페타급으로 증가함에 따라 단일 기관에서의 대용량 데이터 처리는 불가능해짐에 따라 국제공동으로 데이터 공유를 위한 전송기술의 고도화가 시급한 과제로 대두돼 왔다.

1페타바이트(PB)는 1기가바이트(GB)급 영화 100만편에 해당하는 용량이다.

이에 KISTI는 이번에 미국 연구진과 공동으로 대용량 과학데이터 전송의 효율성을 극대화하는 빅데이터 익스프레스를 개발, 기존 데이터 전송방법들이 가진 문제점을 극복했다.

이 기술은 과학데이터 전송에 자주 사용되는 GridFTP 보다 3분의 1 정도 높은 성능을 보였으며, GridFTP 보다 100여배 빠른 전송 속도를 기록했다.

노서영 KISTI 대용량데이터허브실장은 “거대과학에서 요구되는 대형실험장비 및 관측 장비에서 생산되는 대용량 과학데이터를 국내 연구자들이 손쉽고, 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있게 됐다”면서 “이를 통해 국내 데이터집약형 연구의 가속화가 기대된다”고 설명했다.