京东物流用Doris搞秒级分析，亿级数据自助查询真方便

（引用来源：京东物流技术博客《基于Doris的京东物流实时数据平台建设实践》）

京东物流每天都会产生海量的数据,比如每一个包裹的揽收时间、在哪个分拣中心停留、由哪位快递员派送、签收状态是什么等等，这些数据以前分散在不同的系统里，像订单系统、仓储系统、运输系统，当业务人员想分析一下“华东地区上周的订单履约时效是多少？”或者“某条运输线路最近一周的包裹破损率有没有异常？”这样的问题时，就非常麻烦，他们需要找数据工程师写复杂的查询脚本，把好几个数据库里的数据关联起来，跑一次查询可能要等几十分钟甚至几个小时，结果出来可能业务机会都已经过去了。

（引用来源：Apache Doris官网案例研究《京东物流：基于Doris构建统一OLAP平台，实现万亿数据自助分析》）

为了解决这个问题,京东物流的技术团队决定找一个能快速处理大数据查询的分析型数据库，他们选来选去，最后选中了Doris，Doris的一个最大特点就是快，特别适合做实时查询和交互式分析，京东物流把来自不同业务线的数据，经过清洗和转换后，都汇聚到Doris这个统一的平台里，这样一来，数据不再是孤岛了，所有需要分析的数据都在一个地方。

（引用来源：技术媒体InfoQ对京东物流数据平台架构师的采访报道）

具体是怎么做到“秒级分析”的呢？文章里打了个比方，这就像以前查资料要去好几个不同的图书馆，现在所有书都按照统一的分类法放在一个超大的智能图书馆里，而且有一个特别厉害的图书管理员（Doris），这个“管理员”有两个绝活：一是“预聚合”，二是“列式存储”。

“预聚合”好比是，如果很多人经常问“每个省份今天的订单量”，管理员就提前把每个省的数据加总好，做成一个单独的汇总表，当业务人员再问这个问题时，管理员不用去数亿条记录里一个个数，直接看这个汇总表就行了，结果瞬间就能给出来，Doris支持一种叫“物化视图”的功能，就是自动帮我们做这种预计算。

“列式存储”是说，存数据的时候，不是按一行行来存（比如先存一个包裹的所有信息），而是按一列列来存（把所有包裹的“收件人省份”存在一起，把所有“下单时间”存在一起），当查询只关心某几列（比如只查“省份”和“订单量”）时，Doris只需要读取相关的这几列数据，大大减少了磁盘访问量，速度自然就快了很多。

（引用来源：京东物流技术团队在数据技术沙龙上的分享实录）

京东物流的业务人员,比如运营、产品经理甚至片区经理，都可以通过可视化的BI工具（比如Tableau或内部的报表系统）直接连接到Doris平台，他们可以像搭积木一样，通过拖拽选择自己想看的维度（比如时间、地区、产品类型）和指标（比如订单量、平均时效、成本），然后一点“查询”，几乎一两秒钟内，结果就呈现在眼前了，这就是所谓的“自助查询”，不用再求助于数据开发团队，自己就能探索数据、发现问题。

（引用来源：Apache Doris社区文章《京东物流在Doris上的应用：日增万亿条，查询秒级响应》）

这种能力带来的价值是巨大的,文章里提到，京东物流在Doris平台上管理的数据量达到了万亿行级别，每天新增的数据量都是百亿甚至千亿条，在这么庞大的数据基础上，绝大多数自助查询都能在秒级甚至亚秒级得到响应，这使得实时监控物流网络健康状况、快速定位运营瓶颈、精准分析客户行为成为可能，大促期间可以实时监控全国各个仓配中心的压力情况，及时调度资源；可以分析特定商品的物流路径优化空间，降低成本；可以快速统计新业务的推广效果，辅助决策。

通过采用Doris构建统一的数据分析平台,京东物流成功地将海量数据的价值“解锁”了，让数据真正变成了每个业务人员触手可及、随时可用的工具，极大地提升了运营效率和决策的敏捷性。