오픈소스 데이터 복제 엔진 Filament 공개
다양한 데이터베이스와 업무 서비스 데이터를 다른 저장소로 옮기고 동기화하는 도구인 Filament가 오픈소스로 공개되었어요.
다양한 서비스 연결과 복제 방식 지원
Filament는 데이터베이스와 업무 서비스의 데이터를 다른 DB, 데이터 웨어하우스, 객체 스토리지로 옮기는 Go 기반 데이터 복제 엔진이에요. 전체 데이터를 한 번에 복사하거나 변경된 데이터만 가져올 수 있으며 변경 데이터 캡처 방식으로 추가나 수정 및 삭제 내역을 반영하는 기능도 지원해요.
PostgreSQL이나 MySQL 같은 데이터베이스뿐 아니라 GitHub, Slack, Notion, Stripe, HubSpot 등에서 데이터를 가져와 여러 서비스에 흩어진 정보를 한곳에 모으는 데 활용할 수 있어요. 저장 대상은 ClickHouse, Snowflake, BigQuery, S3 등이 포함돼요.
작업 재개 기능과 유연한 배포 환경
데이터를 일정 크기의 묶음으로 처리하고 안전하게 저장된 진행 위치를 체크포인트로 남겨, 지원되는 작업은 중단 후 처음부터 다시 복사하지 않고 재개해요. 데이터 전달 과정에서 체크섬을 비교해 값이나 순서가 달라졌는지 검사하고 지원 커넥터에서는 전송 직전 직렬화된 데이터도 확인해요.
웹 화면에서 데이터 출처와 저장 대상을 연결하고 복제 방식과 일정을 설정할 수 있으며 관련 작업은 API로도 호출할 수 있어요. 독립 실행 파일 운영이나 애플리케이션 내장이 가능하고 Kubernetes와 Helm 배포도 지원하며 라이선스는 Apache 2.0 규격을 따라요.
이 뉴스의 의미
여러 업무 서비스와 데이터베이스에 흩어진 정보를 통합하려는 개발팀은 읽기와 쓰기 기능이 커넥터별로 다르고 중복 처리를 완전히 막는 방식은 아니라는 점을 고려해 도입을 검토할 필요가 있어요.
