引言
上次的物流行业大数据技术的BI的制胜之道发布后,有朋友问怎么在物流行业开始做BI,这期我们就聊一聊想做BI的第一步,如何做一个好的BI战略。那我们还是从物流行业中的数据存在的主要几个问题谈起吧:
1. 数据重复(多系统同时存在,比如账户,用户,客户等)
2. 关键数据缺失(比如分拨等级的维护,大区的等级等关键信息)
3. 数据错误(由于人工输入,前后有空格,错字等)
4. 无法关联(由于两个系统之家的ID,名字都不同,没办法进行跨系统关联取数使用。)
物流行业数据现状
在一个企业中,数据上经常会出现以上几种问题,而在完整的数据分析体系中,一个很重要的环节叫做“数据探查”,其目的就是为了对“脏数据”进行相应的“清洗”而做准备,从而减少或避免这些数据对分析结果可能产生的影响,最大化数据分析可以提取的数据价值。
物流行业发展的实在太快了,很多时候,企业的架构师职责缺失,而系统又需要快速做出来,那么主数据管理功能就会散落在每个系统。目前物流行业存在大量的重复性工作和信息孤岛,缺乏有效的整合和集成,更没有一体化的科学合理的架构,同类数据可能分布在各个不同的系统,且不一致。
在做BI之前,如果真正能在企业内部达到以下三个集成,就可以考虑开始BI项目实施了。
界面集成:企业门户、单点登录集成
数据集成:主数据有效管理、数据共享机制成熟
应用集成:基础数据平台、核心应用主数据交互性高
主数据探查会诊(CRUD矩阵)
图中谈到的主数据管理,是非常重要的一个概念,主数据就是不依赖其它数据,可以独立反映客观的真实存在主体数据。主数据一般都是交易活动的基础,所有的交易明细都要围绕主数据展开。主数据从特性上来说,相对静态,增量小,数量级也很小。一般情况下在业务管理中都会用到主数据来进行运营,经营操作管理动作。如果企业没有一个主数据管理平台,做的BI项目会事倍功半。你会发现每个系统的主数据散落各处,大家口径(分子分母逻辑,取数时间点,名词解释等)不一致,那么即使做出来的效果再好,报表数据的口径就会受到各业务用户的准确性质疑。那么该怎么做好主数据管理呢?
下图为CRUD的调查矩阵示意图,通过此矩阵,可以清楚每个业务系统的各种主数据的管控情况比如:创建(C),使用(R),更新(U),删除(D),有了这个矩阵,你可以对比到哪些主数据是存在C和U,D的冲突的,然后召集相关的业务部门进行会诊,确定C,R,U,D的规则,最终形成系统间的数据流向控制,比如:一个新增网点功能,如果两个系统都存在,需要考虑如何判断哪个业务系统真正应该拥有权力,如果两个系统都有,那么需要确定一个系统增加的时候,如何通过同步机制同步到另外系统中去。还有禁止掉某些系统的网点添加权限等等。这是一个非常痛苦且漫长的过程,如果这一会诊做不好,会在BI系统中发现很多工作都需要重新来过,如何分别相同ID但是名字不同的数据到底该保留,合并,甚至反复的增减清洗规则等被动的工作,而且要承担起推动主业务系统整改的责任和义务了。
主数据管理
拿到了主数据的CRUD探查结果,那么下面我们就需要做好主数据管理工作了。
首先,按照一个系统管理,其他系统配合的原则来设计。数据质量管理框架是非常重要的。拿一个客户举例,客户就应该是在CRM来创建的,创建的时候,有客户编码,姓,名,性别,手机号,邮箱,地址等关键组成属性。在这里,客户编码就是唯一标识,无论是在快递系统,还是在快运系统中,使用到这个客户的时候,都需要从CRM进行同步使用。所有关于客户的管理,都应该由CRM系统进行统一管理。切忌在两个系统以上进行客户维护。即使可以在第二个系统维护,也要通过接口回传所更新的属性。那么我们再看下数据质量管理框架中,对于数据行有以下几个方面的原则:
有效性:所有的数据都必须符合有效性,比如性别列,不能存在M/F,男/女,0/1多种编码并存的局面,手机号应该是11位的纯数字,不能有字母夹杂其中。身份证号规则等都需要预先设定好。
唯一性:数据必须要有唯一辨识,比如客户编码,如果用手机号做唯一编码,就存在一个人有两个手机号的记录出现,需要重新考虑系统的唯一性设计。
完整性:系统应该维护一个属性的所有条数。比如男女,不应该存在null的状况。
一致性:一个客户买了东西后,寄件日期早于其购买日期,系统不应该出现此类问题。
及时性:如:CRM中,一个客户的地址不再有效,而其他系统中的最新地址却关联此用户。一定要有这种系统同步策略存在系统操作联动中。
准确性:如:客户被定义错了所在的会员层级。这种低级错误一定要全部避免掉。
精准性:如:在销售数据中,产品编码通常是用来区分不同产品的。
结语
千里之行,始于足下。主数据管理是做BI项目的必须要准备的一步,如果这步做好,对于BI团队是非常幸运的,希望能看到越来越多的物流企业能管理好自己的主数据。通过数据分析获取更多的业务价值,最终带来成本的降低,带来更多的利润和加速商业决策的过程。
作者:李高峰,目前在原色咨询从事BI与大数据相关的咨询工作,曾长期从事多家世界五百强相关项目,目前从事物流行业的敏捷BI和大数据建模项目。曾获PMP,CSM,LeanKanBan等认证。
©2017 原色咨询企业管理咨询有限公司 本文由原色咨询管理咨询有限公司保留一切权利,转载请保留本版权信息、原文链接,且不得删改原文内容。
原色咨询:一群有梦想有专业来自国际一流咨询公司的团队,以为客户实现业务价值作为自我实现的理想,投入到英雄辈出的物流行业。前进路上,希望与更多有志之士同行!
微信号:RGB_CONSULTING
提示:请长按下面二维码关注原色咨询
)