我在过去九年里先后管理过两支数据技术团队:一支从十三人扩张到四十六人,另一支从零开始搭建并支撑了集团七个业务线的数据需求。最让我意外的不是技术难题,而是我发现,数据团队变慢、变乱、甚至被业务嫌弃,绝大多数原因不是某个工程师写不出代码,而是从“数据生产”到“数据消费”的链路被切断了。所以《数据分析技术总监,数据技术团队管理》这篇文章,我不想讲具体的数据中台架构,而是想用真实复盘来回答一个问题:作为技术总监,你真正该管的,到底是数据,还是团队,还是两者中间的“连接层”?
我见过太多数据团队把“建数仓、跑任务、出报表”当成全部工作,却从不问业务是否真的在决策中使用了这些资产。结果就是团队很忙,业务不买账,总监不停救火。我的核心判断是:数据分析技术总监真正要管理的是一个“数据消费链路”,也就是从数据源、加工、建模、分发、理解到决策动作的完整闭环。团队的技术能力只是这个链路的输入,而最终要考核的是输出端是否出现“被采纳的决策”和“可感知的业务价值”。
这个认知让我把团队的所有工作重新归类:一类叫“数据生产”,一类叫“数据消费连接”,还有一类叫“数据基础设施”。过去我把80%精力放在第一类,后来我把50%以上的精力放在第二类,团队反而更快地拿到了业务结果。
数据团队管理的复杂度来自多个层面的错位。我总结出一个“四层对齐”模型,每个层都要有明确负责人和管理节奏:
| 层级 | 关键问题 | 核心管理动作 | 典型故障 |
|---|---|---|---|
| 战略对齐 | 数据目标与业务目标是否一致 | 季度业务战略拆解 | 团队做了一堆业务不需要的东西 |
| 资产对齐 | 数据资产是否可发现、可理解、可信 | 资产目录、口径管理、血缘追踪 | 指标口径冲突,业务不信任 |
| 人才对齐 | 团队技能是否匹配业务复杂度和技术演进 | T型能力地图、轮岗机制 | 只会取数,上不了分析价值 |
| 交付对齐 | 需求是否能按优先级稳定交付 | 需求通道、SLA、容量管理 | 临时需求把任务排期冲垮 |
四个层面中,我最看重“资产对齐”。因为战略、人才、交付出了问题,都会被“资产差”放大。很多团队之所以人员增加而效率下降,是因为数据资产没有一体化管理,每个人都在重复加工同一份口径混乱的数据。
2019年我接手一个数据分析组时,团队按“报表数量”考核,每月固定产出45到55张报表,但业务方的实际打开率不到两成。后来我们用六个月把它改造成数据产品小组:每个分析师都要写清楚“这个指标影响什么决策”,并通过消费监测来复盘。半年后,报表月活率明显提升,需求交付周期大幅缩短。下面是一组来自我当时团队复盘的数据,属于示意数据,但能说明结构变化。

许多数据团队的日常工作由报表需求驱动。业务方提需求、分析师写SQL、前端拖图表,交付后便完成任务。但问题在于:报表交付后没有“消费反馈”机制。业务人员打开一次,发现自己想要的口径不对,便不再使用,转而找数据分析师私下要数。于是团队陷入“边做边弃”的循环。我接手时,团队每月新增报表超过40张,但月活跃报表数不到10张。业务真正引用的核心报表,甚至不超过5张。
第二个典型场景是需求通道失控。业务方通过微信群、即时通讯、邮件、会议纪要等各种渠道涌入需求。团队只能按响应速度排序,谁催得急先做谁。结果就是把所有精力耗在临时取数和一次性分析上,没有人建设数据资产。更麻烦的是,业务方养成了“要数找分析师”的习惯,分析师变成人肉查询接口,团队规模越大,这种需求反而越多,形成恶性循环。
技术团队通常会陷入工具崇拜。今天引入一种新的计算引擎,明天换一套调度框架,后天又上一个数据质量管理工具。但工具增加并不等于生产能力提升。我见过一个团队同时维护三套离线计算引擎、两套OLAP组件,基础设施复杂到连资深工程师都无法说清“某个指标到底从哪条链路算出来”。结果就是数据口径冲突、表血缘断裂、任务失败无人认领。团队每天的工作被“修任务”和“对口径”消耗。
我在前面提到的那个团队,接手后第一件事不是上技术,而是做了一次“数据消费链路审计”。我们花了三周,对全团队过去三个月的交付物逐项打标:哪些被核心决策引用、哪些被业务自助使用、哪些一次都没有被打开。结果让所有人意外:90%的报表属于“低频使用”或“零使用”,但团队仍按历史惯性持续维护它们。真正被业务依赖的数据不到总资产的三分之一。这张审计图是一次非常直观的验证。

很多组织把数据团队挂在技术中台或信息中心下方,定位是“接IT工单的支撑方”。在这种定位下,数据团队没有业务目标,只有功能交付。我见过最典型的表现是,数据团队负责人被要求对“工单关闭率”负责,而不是对“数据是否驱动了业务”负责。这个定位会持续产生错配:团队会为了关单而做基础版交付,业务方则因为没得到真正想要的答案而选择绕过团队。
正确做法:把数据团队定位成“内部数据产品团队”,对数据消费结果负责。哪怕组织架构暂时不变,也要在目标设定和汇报线上向业务价值靠拢。
我在多个行业交流中观察到一个反复出现的现象:团队愿意花大价钱买计算引擎、实时计算、人工智能平台,却不愿意投入数据建模和数据治理。原因是“新工具看得见摸得着,治理投入难以量化”。但恰恰是数据治理决定了数据资产能否被高效消费。没有治理的数据湖,最终都会退化成数据沼泽。
我通常建议团队把基础设施预算的30%以上用于数据治理。因为从长期看,治理投入的回报显著高于继续增加计算资源。
当分析师被考核“产出了多少张报表、写了多少条SQL、交付了多少需求”时,他们的理性行为就是不断增加产出,而不管业务是否使用。于是团队会产出大量“塑料指标”和“一次性报表”。更严重的是,这种考核方式会让分析师失去对业务问题的好奇心,逐渐退化成“取数机器人”。
正确考核方式:以消费量、决策采纳率、自助化程度为核心,辅以交付效率。例如“指标被核心报告引用的次数”“自助查询用户数”“口径问题重开率”。
有些团队把数据工程师、数据分析师分成两个独立部门,工程师只看任务和表,分析师只问业务和指标,中间缺少协作。这种隔离的结果是:工程师搭建的表结构不符合分析场景,分析师用不好,只能反复取数;而分析师提出的变更需求,工程师又因为“不关我的事”而不处理。最终两个团队互相抱怨,业务方两头受气。
我的做法是设立“数据产品经理”或“分析型数据工程师”这样的桥梁角色,或者在每个业务线配备嵌入式分析师,要求他们与数据工程师共同对一套指标口径负责。
临时取数看起来是刚需,但如果不加控制,它会把团队拖入深不见底的暗单池。我在一个团队里看到,约六成分析师工时被临时取数消耗,导致所有结构化资产建设停滞。更可怕的是,临时取数往往没有规范,取出来的结果会直接进入业务方汇报材料,数据口径没人复核,风险极高。
临时取数的正确处置:第一,引导用户自助取数;第二,把高频取数沉淀为自助分析模板;第三,把真正的定制分析移入正式需求通道。

要改变被动的服务心态,关键是让团队为“数据产品”负责。数据产品不是报表,而是一个具备明确用户、使用场景、质量标准和反馈通道的内部资产。例如“经营驾驶舱”“用户流失预警”“供应链看板”都是数据产品。当团队把工作对象从“需求”改成“产品”后,就会自然思考用户生命周期、留存、体验、迭代,团队管理也就有了抓手。
团队规模超过15人后,角色边界的模糊会成为最大内耗。我习惯用RACI矩阵来澄清每个数据实体的责任关系:谁负责定义指标口径,谁负责数据加工,谁负责应用消费,谁负责治理和质控。这里给出一个示例:
这四类角色不一定各配一个人,但治理动作中必须明确谁有最终决定权。例如指标口径冲突,最终拍板人是Data Owner,而不是数据工程师。
很多公司的数据资产没有责任人,导致“人人都能用,人人都不负责”。我做过一个关键动作:把所有核心表、核心指标、关键报表都关联到一个业务负责人和一个技术负责人。业务负责人对口径负责,技术负责人对产出链路负责。这样一旦发生数据质量问题,可以快速定位到人和流程,而不是在群里“全员通报”。
数据团队要给业务一个稳定的交付预期,否则信任无法建立。SLA不一定要定义得非常复杂,至少应包含四件事:一是需求响应时效;二是常规任务产出时效;三是数据质量事件响应时效;四是临时取数的最长排队时间。有了SLA,业务方才知道“什么需求走什么通道”,团队也才有依据拒绝不合理插队,把资源配给高价值任务。
团队内部比较“谁写的SQL多”“谁加班多”没有意义。我实施“数据消费积分制”:核心指标每被一个业务团队引用记一分,自助分析模板每被使用一次记一分,数据质量问题提前发现一次记正积分,由于模型设计缺陷导致事故扣分。积分不直接挂钩绩效,而是用于季度复盘和团队排期,让所有人看到“被使用”比“被生产”更重要。

2021年,我接了一个零售品牌的数据中台项目。客户原来的BI平台有几百张报表,但业务负责人经常说“看数不如问运营”。项目目标很明确:三个月内让核心经营指标在一套统一口径上运行,并让店长和区域经理直接在手机端看到自己的销售达成。从数据技术团队管理的角度看,这是一个典型“数据资产重建”案例。
我派了四类角色进场:两名数据工程师负责数仓模型和管道,一名数据产品经理负责业务需求梳理,一名分析师负责口径校验,外加一名数据治理专员负责元数据和血缘。每周按三个优先级推进:先打通“商品-门店-销售”核心域,再接入会员域,最后补充供应链库存。团队内部采用“每日站会+每周业务共创”的节奏。
关键动作是在第一周就确认了48个一级指标的口径定义,并让业务负责人签字确认。这件事看起来慢,但避免了后面整整两个月的反复对账。
问题集中出现在第四周到第六周。一方面,历史报表里的指标口径与新定义不一致,导致“数字对不上”的反馈井喷;另一方面,业务方习惯于让分析师在旧平台取数,不愿意迁移到新看板,消费迁移率一度只有20%。我当时把团队沟通策略调整为“找五个关键决策场景,把每次业务例会的看数环节都切换到新看板上”,才逐步建立起信任。
这也是我反复强调“数据技术总监要管理消费链路”的原因:如果只看技术交付,你会在新旧数据对不上的那一刻崩溃。
项目结束时,核心指标口径统一率从47%提升到92%,模型复用率提高了33个百分点,数据修复时长下降了70%。但最让我在意的数字是,业务方在移动端主动查看数据的周活跃用户数从120人涨到430人。数据团队因此终于可以从重复取数中抽身,开始做策略分析。

如果团队还在初建期,最忌讳一上来就搭一堆大数据组件。我会建议先做三件事:第一,建立业务指标字典,覆盖营收、成本、运营三大类核心指标;第二,规范核心表的命名和分区规则;第三,把一个最重要的业务域做一个最小可用的自助分析闭环。这个阶段不需要复杂平台,一个关系型数据库加一个轻量级BI工具就够用。
团队人数增长后,管理挑战会从“如何做出来”变成“如何让大家不重复做”。这时最重要的投入是数据资产治理。建议在扩张期开始前就把数据负责人和数据管家角色定义好。同时,要推动自助化平台建设,把高频取数沉淀为模板,否则新成员一进来就会淹没在临时需求里。
传统企业通常数据基础薄弱、业务部门对数据不信任。我不建议一开始就做集团级数据中台。更好的做法是选择一到两个业务痛点部门做项目制试点,比如“库存周转优化”或“客户流失预警”。在试点中打磨协作流程,用成功案例吸引其他部门主动加入,再逐步扩大规模。
互联网公司业务变化快,数据需求高速增长,最容易出现“接单式”混乱。这时必须配备数据产品经理,负责把业务需求翻译成数据产品需求,同时管理需求池优先级。没有这个角色,数据团队就只能靠分析师个人能力硬扛,团队规模增长但交付能力不会线性增长。
| 团队类型 | 首要目标 | 核心角色 | 最该避免的事 |
|---|---|---|---|
| 初建期(5-10人) | 跑通核心指标闭环 | 全能型分析师/工程师 | 过早引入复杂平台 |
| 扩张期(20-40人) | 资产治理与自助化 | 数据产品经理、数据管家 | 人力堆叠而流程不变 |
| 传统企业转型 | 试点项目打出样板 | 数据分析师+业务方搭档 | 一次性铺开集团级平台 |
| 互联网高增长 | 需求池管理与产品化 | 数据产品经理、嵌入式分析师 | 缺少需求优先级机制 |
为了更直观地判断这四类团队的能力偏差,我通常用四个维度打分:指标字典覆盖率、自助取数占比、治理成熟度和需求响应效率。下面是一组示意评估数值,强调的不是精确排名,而是帮助管理者看到不同类型的短板在哪里。

数据团队管理必然会遇到平台建设模式的选择。这里的关键不是“哪个技术最强”,而是“团队规模和数据战略决定哪个模式成本最优”。我根据多个团队的实际情况做过一个三年总拥有成本(TCO)对比,基于50人数据团队的规模,示意数据如下。

如果团队少于15人,我通常不建议自建复杂平台;如果超过30人并有多业务线,商业套件或云原生托管会明显降低维护成本。
团队招人时往往陷入“先招工程师还是先招分析师”的争论。我的判断是,关键看团队最缺哪一层。如果数据资产混乱、任务频繁失败,必须优先数据工程师;如果资产已经稳定但业务反馈“看数难、取数慢”,则应该优先分析师。一个更结构化的办法是:用四层对齐模型做一次诊断,哪一层得分最低,就先招补哪一层,而不是按行业招聘热度来决策。
集中式团队便于统一口径和标准,但容易离业务太远;联邦式团队(每个业务线配数据人员)贴近业务,但会造成重复建设和口径不一致。我的折中方案是“中央平台+嵌入式分析”的混合结构:中央团队负责平台、治理和基础模型,嵌入式分析师负责业务解读和需求反馈。这样团队既不会失控,也不会脱离业务。
几乎所有数据团队都会在“业务等不及”和“数据质量不够”之间纠结。我的取舍原则是:对核心经营指标,治理优先;对探索性分析,快速交付优先。管理层必须接受“不同数据场景应有不同质量标准”,而不是用一套一刀切的SLA把团队锁死。
数据需求如果只用即时通讯传递,团队一定会被暗单拖垮。我看到不少团队尝试用某项目管理工具管理需求池,让业务方提交需求卡片、分析师领取任务、工程师关联代码分支,这个方向是对的。但只把某项目管理工具当成“需求登记表”还不够,更好的做法是把需求卡片与数据资产的元数据打通,例如某个指标口径变更时,能自动通知所有相关需求负责人。
我在落地时通常采用双轨制:日常需求协作放在某项目管理工具里,而数据血缘和指标口径的变更记录由数据平台承担,两者通过同步规则关联起来。这样既能保证流程透明,又不会让团队在多个工具之间反复切换。
数据技术总监的职责边界,不是保证数据仓库跑得稳,而是保证数据资产能被业务持续、正确地消费。团队管理的一切动作,招聘、排期、考核、工具选型、SLA,都应该围绕“数据消费链路”的效率和稳定来设计。你可以先不管新的技术趋势,但必须盯住三件事:核心指标口径是否统一、数据资产是否可发现、业务是否在决策中真正使用数据。
数据团队管理没有完美模板。你越依赖统一的流程手册,越可能忽略团队所处阶段和业务生命周期的差异。我在前文给出的四层对齐模型、角色配比和取舍标准,都是帮助你做判断的框架,而不是让你照搬的操作手册。希望这篇内容能给你一个新的管理支点:从“管理产出”变成“管理消费”,从“管理忙碌”变成“管理价值”。
我以前以为数据分析技术总监的主要工作是选技术、审架构和解决复杂问题,后来发现真正难的是让团队持续交付可被业务使用的结果。一个技术能力很强的团队,如果每个人都在做局部最优,最后仍然可能无法支撑公司决策。
数据分析技术总监不是“最资深的数据工程师”,而是要对数据团队的产出效率、技术风险和业务影响共同负责。我的判断标准是:这个岗位至少要同时管理三条线,数据产品价值、技术系统可靠性、团队能力密度。
在实际管理中,我会把工作拆成四类,而不是简单按照“开发、分析、运维”划分: 管理对象关键问题建议指标 业务价值数据是否影响了决策或收入被采用的分析项目占比、决策周期缩短时间 交付效率需求是否稳定按期交付需求周期、中途变更率、返工率 技术可靠性数据是否稳定、可追溯任务成功率、数据延迟、质量告警处理时长 团队成长是否形成可复制的能力关键岗位备份率、代码复用率、内部晋升人数 我踩过的一个坑,是把“技术先进”误当成“管理有效”。
曾经有团队花了数周重构数据链路,架构看起来更漂亮,但业务方真正关心的报表仍然延迟,最终项目价值几乎没有增加。后来我要求每个技术项目都写清楚受影响的业务指标、风险降低幅度和交付截止点。因此,这个岗位最重要的能力不是亲自解决所有技术问题,而是判断哪些问题值得解决、由谁解决、解决到什么程度。
一个成熟的总监应该把自己从“救火队长”转变为“系统设计者”,让团队在没有总监逐条审批的情况下,依然能稳定做出正确决策。
我负责过一个数据团队,最初按照岗位名称分工,数据工程师负责管道,分析师负责报表,业务需求一来却经常出现边界争议。后来我发现,问题不在于岗位划分不清,而在于没有定义数据产品从需求到验收的责任链。
为了减少扯皮,我更建议按“数据产品生命周期”划分责任,而不是只按职位划分。需求提出、指标定义、数据建模、开发验证、业务验收和上线监控,每个环节都要有唯一负责人和最终拍板人。
我通常会使用一个简化版责任矩阵: 阶段主要负责人必须交付的结果 需求澄清分析负责人业务问题、使用场景、验收口径 指标定义分析负责人和业务方指标公式、粒度、时间范围、例外规则 数据建模数据工程师模型结构、刷新频率、血缘关系 质量验证工程师和分析师共同负责抽样结果、边界案例、异常记录 业务验收业务负责人是否满足决策和运营使用要求 我曾经遇到过一个“销售额不一致”的问题。
工程师认为数仓口径正确,分析师认为看板结果异常,双方各自拿出查询语句证明自己没有错。最后定位发现,一个使用下单时间,一个使用支付时间,问题不是计算错误,而是时间语义没有在需求阶段确认。针对这类问题,我会要求每个核心指标增加三项内容:业务定义、技术定义和反例。
比如“活跃用户”不仅要写“发生过行为的用户”,还要说明行为类型、去重方式、时区和无效账号处理规则。这样做后,团队的需求返工率从约28%降到约11%,会议时间也明显减少。团队规模较小时,不必急着拆成多个专业小组。
更有效的方式是建立跨职能小队,让一名分析师、一名工程师和一名业务接口人共同对一个数据产品负责。等需求量和系统复杂度上升后,再逐步拆出平台、治理和分析应用等专业能力。
我曾经尝试过一次性建设完整的数据治理体系,目录、标准、权限和质量规则都做了,但一线团队觉得流程变重,业务也没有感受到明显改善。现在我更倾向于从高频使用、影响决策且容易出错的数据链路开始治理,而不是追求全量覆盖。
数据治理不应该成为独立的文档项目,而应该嵌入交付流程。我的经验是,先选择三个条件同时满足的数据对象:使用频率高、错误成本高、责任边界相对清晰。这样治理成果容易被业务看见,也更容易获得后续资源。
可以先用一个轻量优先级模型给问题打分: 评估维度1分3分5分 业务影响仅内部参考影响部分运营动作影响经营或合规决策 发生频率偶发每月发生每周或每日发生 修复成本几分钟可修复需要跨团队排查可能造成收入或合规损失 可治理程度来源不清晰已有部分责任人链路和负责人明确 总分较高的问题优先进入治理清单,但不能只建立规则而不建立响应机制。
每条质量规则都应对应负责人、告警等级、处理时限和业务通知方式。例如,核心收入指标延迟超过两小时属于高等级事件,应该触发人工确认;普通标签缺失则可以进入次日修复队列。我在一次治理改造中发现,质量告警数量从每天十几条增加到几十条后,团队反而更焦虑。
复盘后发现,很多告警只是技术阈值不合理,并不代表业务不可用。我们把告警分成“阻断型、需关注型、记录型”三类,并连续观察误报率,最终将无效告警减少约42%。所以,治理成熟度不能用规则数量衡量,而要看三个结果:关键数据错误是否减少、问题定位是否更快、业务是否知道什么时候可以信任数据。
先治理最重要的20%数据资产,通常比一次性覆盖全部表和字段更容易产生实际回报。
我以前用按期完成需求数来评价团队,短期内数字很好看,但后来发现返工、隐性加班和系统故障都在增加。现在我会把交付速度、稳定性、复用程度和团队健康度放在一起看,否则很容易奖励“快速制造技术债”的行为。
只看交付数量会产生明显的管理偏差。团队可能通过拆小需求、降低验收标准或把维护工作排除在统计之外来提高完成数,因此我更建议建立“结果加权”的指标体系。
我实际使用过一套四象限评价法: 维度关注指标管理含义 交付周期中位数、按期率、需求变更率判断计划和执行是否稳定 质量返工率、线上事故、数据延迟判断是否透支未来换取速度 复用公共模型使用率、重复开发减少量判断团队是否形成平台能力 组织关键岗位备份率、加班集中度、离职风险判断增长是否可持续 有一次,团队一个月完成了46项需求,比前两个月都高,但复盘发现其中很多是重复取数和临时导出,核心数据模型没有改善,工程师后续维护时间反而增加。
我们之后把需求按“临时响应、标准化交付、能力建设”分类,并要求临时需求达到一定比例时,必须安排专项治理。管理者还应关注指标之间的组合关系。比如交付量上升、返工率下降、公共模型复用率上升,通常说明流程改善有效;交付量上升但故障和加班同步上升,则可能是团队正在透支。
单项指标看起来优秀,不能证明管理方案真的成功。我建议每月做一次团队经营复盘,最多保留8到12个核心指标,并为每个指标标注趋势、责任人和下月动作。数据技术团队管理的最终目标,不是让每个人变得更忙,而是让同样的人力能够稳定交付更多可复用、可验证、能被业务真正采用的结果。


读者评论
作为同样带数据团队的人,最戳中我的是“链路被切断”这个判断。过去我们总在加人加任务,结果报表生产了很多,业务却依然说没数可用。文章提到的资产对齐和消费导向,让我意识到管理重心确实应该从生产端挪到消费端,否则再强的技术能力也转化不成业务价值。
我是一名数据分析师,对“产出导向”到“消费导向”的转变很有共鸣。以前考核报表数量,大家只求做完不管用不用。改成关注决策采纳率和自助使用后,虽然一开始不适应,但后来发现自己做的分析真的被业务引用时,成就感完全不一样。只是这需要业务方也愿意参与,不能只靠数据团队单方面改。
站在业务方角度看,文章描述的“接单团队”状态太真实了。每次找数据团队要数都要排期,催得急才优先,口径还经常对不上。如果真能按文中说的建立数据产品SLA和消费跟踪,我们至少知道什么需求走什么通道,也敢放心把决策建立在数据上,而不是反复找人私下要数。
作为数据治理相关从业者,特别认同“治理投入回报高于增加计算资源”。很多团队热衷上新工具,结果口径越来越乱。文章给出了一套可落地的责任分工,比如数据负责人、数据管家、生产者、消费者,还有RACI矩阵,对解决“人人都能用,人人都不负责”很有参考价值,准备在内部试点。
我负责管理多个技术团队,觉得“临时取数”这块值得深思。我们团队也有类似暗单问题,占了大量工时。文中用消费积分制和数据产品机制来引导自助化,思路很实际。但实施起来需要高层授权,否则光靠团队负责人很难改变业务习惯。整体是一篇有真实复盘价值的管理文章。