Object storage
2022. 4. 29. 19:19ㆍAI/Big data
- 목차
반응형
Object storage
- 비정형 데이터에 대해
- 데이터와 자동으로 생성되는 메타 데이터, 고유 식별자(ID)로 구성
- 정확한 위치를 메타 데이터에 저장
- 안정성
- replication: 여러 장소에 mirroring 하여 copy
- 여러 조각으로 나눠 저장(erasure coding)
- RAID-1, RAID-6와 비슷한 안정성 대책 지님
확장성
- 새 저장소 node를 pool에 추가/등록만 하면 됨
- 절대 위치를 몰라도 됨
메타 데이터
- 사용자가 정의한 메타 데이터를 추가할 수 있음
block storage, file storage
- 정확한 저장 장소를 직접 알아야 함
특징
비정형 대용량 데이터에 적합(멀티미디어 데이터 등)
REST API를 통해 access (HTTP(s) 기반의 접근이기에 응답속도가 legacy storage에 비해 느림)
자동으로 RAID1, 6 수준의 데이터 무결성 제공
경로 변경 없이 무한 확장 가능
반응형
'AI > Big data' 카테고리의 다른 글
data lake (0) | 2022.04.29 |
---|---|
ETL, ELT (0) | 2022.04.29 |
카프카 (Kafka) (0) | 2022.04.29 |
빅데이터 에코 시스템 (0) | 2022.04.29 |
isort (0) | 2022.04.22 |