파티셔닝 데이터 셋이 매우 크거나 질의 처리량이 높다면 복제만으론 부족하고 데이터를 파티션으로 쪼갤 필요가 있다. 목적 : 데이터와 질의 부하를 노드 사이에 고르게 분산 시키는 것 각 노드에서 자신의 파티션에 해당하는 질의를 독립적으로 실행 가능 → 노드를 추가하여 질의 처리량을 늘릴 수 있다. 파티셔닝의 주된 목적 확장성 비공유 클러스터에서 파티션은 서로 다른 노드에 저장될 수 있다. 즉 대용량 데이터셋이 여러 디스크에 분산될 수 있어 질의 부하도 여러 프로세스에 분산된다. 로그 데이터의 효율적인 관리 불필요한 데이터 삭제 작업은 단순히 파티션을 추가하거나 삭제하는 식으로 간단히 해결할 수 있다. 파티셔닝과 복제 복제와 파티셔닝을 함께 적용해 각 파티션의 복사본을 여러 노드에 저장 각 레코드는 정확히 ..

서론 구글 독스, 노션, 피그마 같은 애플리케이션에서는 동일한 페이지나 화면을 다수의 사용자가 동시에 편집할 수 있는 기능을 제공한다. 이러한 실시간 협업 애플리케이션은 여러명이 동시에 컨텐츠를 편집하더라도 결과적으로 동일한 내용으로 수렴(Convergence)하는 특징을 가진다. 이런 기술은 어떤 원리로 구현됐을까? 대표적인 기술로 OT(Operation Transformation) 와 CRDT(Conflict-free Replicated Data Types) 가 있다. 각 기술의 특징과 장단점을 아래에서 더 자세히 다뤄보겠다. OT OT : Operational Transformations (1989 ~ 2006) OT 는 2006년 정도까지 사용된 기술로 Google Docs 와 MS Office ..

1장 신뢰성, 확장성, 유지보수성 이 3가지 관심사를 엔지니어링 측면에서 생각해보자. 신뢰성 : 하드웨어 / 소프트웨어 / 인적 오류 같은 역경에 직면하더라도 시스템은 지속적으로 올바르게 동작해야 한다. 확장성 : 시스템의 데이터 양, 트래픽 양, 복잡도가 증가하면서 이를 처리할 수 있는 적절한 방법이 있어야 한다. 유지 보수성 : 시간이 지나면서 여러 다양한 사람들이 시스템 상에서 작업할 것이기 때문에 모든 사용자가 시스템 상에서 생산적으로 작업할 수 있게 해야 한다. 신뢰성 “무언가 잘못되더라도 지속적으로 올바르게 동작함”을 신뢰성의 의미로 이해할 수 있다. 잘못될 수 있는 일을 결함(fault)라 부르며, 이를 예측하고 대처할 수 있는 시스템을 내결함성(fault-tolerant)을 지녔다고 한다...