数据管理平台可靠性往往比网络更高

　这样，生产者和消费者都可以认为是在使用磁盘作为介质和 MQ 在通信，而不是网络，而磁盘的可靠性往往比网络更高。另一方面，生产者和消费者可以更专注于其本职工作，使用 Flume -> Kafka -> Flume 的开源方案，也避免重复开发。

　　虽然 Flume 在使用过程中非常稳定，但如果是对可用性要求非常高的系统，我们仍然要考虑在 Flume 程序崩溃甚至磁盘损坏时的恢复方案。尤其在磁盘发生损坏时，我们往往无法准确定 位生产者哪些已经生产的数据没有被发送到 MQ。一个典型的方案是重做，即将我们无法确定是否已经发送到 MQ 的数据全部重发一次。 因此，在消费者端，保证操作的幂等性是非常重要的。

　　准确性可以简单表述为“不重不漏”。“不重”的保证比较困难，在上文已经讨论，在数据流发生异常的某些情况下，我们是无法或者相当麻烦才能定 位哪些数据已经发送到 MQ 中，因此需要批量重做，这就会导致 MQ 中有重复的数据。因此，一般的方案往往都是将消费者设计成操作幂等性的，这样就能够容忍数据重复的情况。

　　“不漏”在设计到财务的系统中往往不能妥协，可以延迟，但不能遗漏。
本文来源：http://www.chi***.cn/solutions/data_cloud
      http://www.chi***.cn/news/honors
      http://www.chi***.cn/contact/