《数据产品经理》学习笔记

写在前面

• 书籍介绍：暂无。
• 我的简评：暂无。
• ！！福利：文末有书籍地址、笔记思维导图、相关资料下载地址哦

第一章 认识数据产品

1.1.数据产品课程介绍

1.2.认识数据产品

• 应用层分类：展示类（可视化大屏、报表）、分析类（BI分析）、挖掘、预测

1.3.数据产品分类

• 不同类型的数据产品：数据采集、数据处理、数据展现|数据分析|挖据预测、业务应用

• 数据采集产品：爬虫产品（如八爪鱼）、API（如Tushare）、填报（如报表填报系统）、埋点（如诸葛IO）

• 数据加工过程：清洗（缺失值、异常值、重复值）、融合（实体识别、冗余性识别）、变换（离散化、属性构造）、规约（特征规约、样本规约），产品示例：ETL开发（如Kettle）、调度管理（如Datax）

• 数据分析工具化产品：报表（如SmartBI）、自助式分析（如FineBI）、数据挖掘（如Kmine）、大屏（如DataHunter）

1.4.数据产品能力模型

• 数据技术能力：SQL、数据分析、大数据平台、数据底层（数据建模）

• 产品设计工具能力：AXURE、墨刀、Sketch、Xmind

• 产品规划推动能力：敏捷迭代模式

• 竞品分析能力：了解主流数据产品与数据产品方向

• 数据思维（数据Sense）：大数据思维、数据思维

• 产品文档能力：MRD、BRD、PRD、DRD

• 数据全景化建设能力：数据中台

• BI体系：掌握至少一种BI分析工具ETL

1.5.如何成为数据产品

• 产品转型数据产品

• 应届毕业生

• 业务专家

• 数据运营转产品

• 项目经理

第二章 数据产品经理基础能力

2.1.产品原型AXURE

2.2.逻辑思维工具XMind

2.3.流程图

• 业务流、页面流

• 工具没有限定，PPT、AXURE、VISIO都可以

2.4.需求管理方法论

• 需求计划

• KANO分析法

• 需求池

2.5.数据产品文档

• 产品文档有哪些：BRD、MRD、PRD、操作手册、发版文档、竞品分析文档、宣传手册、用户调研文档

• 与分析相关的AI技术：自然语言生成、对话式用户界面、图谱分析、机器学习、自然语言处理、预测分析

• 2020年Gartner数据和分析技术趋势：增强分析、增强数据管理、持续型智能、可解释的人工智能、自然语言处理|会话分析、图分析、人工智能和机器学习的商业化

2.6.多源异构数据源与SQL基础

• SQL是必备能力：mysql、tidb、mongo、hbase、neo4j、es

• SQL是必备能力：DML、DDL、DCL

第三章 数据产品经理分类

3.1.TOC内容型数据产品经理

• TOC产品数据运营场景：统计、流量、内容、用户、业务

• TOC数据运营常用指标：用户指标（存量、增量、留存、渠道）、行为指标（次数频率、转化率、时长、弹出率）、业务指标（总量、人均、付费人数、付费率、Sku视角）

• TOC数据运营分析组件：对比分析、多维分析、分布分析、归因分析、路径挖掘、热力分析、分群分析、漏斗分析、行为时序分析

3.2.TOC工具型数据产品经理

• TOC数据从采集到分析闭环：采集（客户端数据、业务端数据、第三方数据、线下数据）、建模（数据存储、数据建模、数据处理）、分析（统计、分析、挖掘）、反馈（决策反馈、产品反馈）

3.3.TOB内容型数据产品经理

• e报表：门店报表、营业基础分析、营业基础查询、会员基础分析、会员基础查询、供应链

3.4.TOB工具型数据产品经理

• 业务分析类应用架构：数据源（数据湖、关系型数据、业务元数据、文件数据）、服务层（能力服务：图表、报表、报告、自助、填报；数据分析：报表、故事板；数据模型：数据模型、多维模型）、应用层（财务分析、资金分析、费用监控、销售分析、采购分析、人力分析、绩效管理、经营分析、仓储分析）、展现层（嵌入集成、移动分析、数字大屏、Web服务、数据填报、报表订阅、智能问答）

• BI数据工具：报表、自助式分析、数据挖掘、大屏

3.5.数据中台产品经理

• 数据中台能力范式

• 数据湖基础设施（Hadoop、Spark、GreenPlum、Kafka、Flink、ES）

• 数据湖中间件（统一调度、统一集群、统一运维、流计算服务、批量计算服务、机器学习）

• 数据融合（多数据采集代理、多数据传输协议、多数据采集格式、库日志实时同步、IOT边缘数据采集、行为数据采集、互联网爬虫、数据填报补录）、数据管理（数据规划、数据治理、数据存储、数据访问、数据开放、数据共享、数据安全、数据运营）、数据开发（逻辑模型开发、物理模型开发、多维数据建模、批|流数据任务开发、数据流程开发、任务流程开发、任务调度和监控、模型和算法开发）、数据智能（BI分析、预测式分析、复杂报表、对话式数据分析、知识图谱分析、数据标签和画像、交互式数据探索、算法和模型服务）

• 应用开发：微服务架构、H5/友空间/微信/小应用集成、角色/权限/菜单发布扩展、无代码开发

3.6.AI中台数据产品

• 丰富的算法模型能力：关联分析（如Aprior）、分类（如CART）、回归（如多元线性）、聚类（如ABC分类）、时序分析（如指数平滑）、概率分布（如分布拟合）、异常值检测（如T-test）、链接预测（如Common neighbour）、特征工程（如GA）、DSIP（如平滑）、机器学习（如SVM）

第四章 数据产品案例剖析

4.1.BI分析方法论

• BI从数据采集到分析流程：

• 数据源：ERP、MES、PLM、OPC、外部数据、其他数据源

• ETL过程：抽取、转换、清洗、过滤、转载

• 数据管理及储存：数据字典、元数据、维度表、事实表

• 数据分析：构建业务模型、多数据源支持、多维建模分析（OLAP）、自助分析、主题分析

• 数据展现：自助分析、数据报表、数字仪表盘、导出为Office文件

• 业务区：Web端、Office、移动设备

• BI分析：统计分析、同比分析、环比分析、趋势分析、相关分析、差异分析、结构分析、预警分析

• BI常见概念：切片、切块、上卷、下钻、旋转

4.2.数据可视化基础

• 要素：设计目的（打算讲一个什么故事）、数据展示形式（不同类型数据的最佳展示形式）、受众群体（不同受众从图表中获取的信息不同）、传播场景（数据可视化作品的展示场景）

• 数据展示形式：趋势型、比例型、关系型、对比型、分布型、地理型

• 组成元素：标题、副标题、图例、背景、文字、动效、排序、标签、TOKEN

• 主流的可视化框架：Echarts、AntV、D3、镝数

4.3.指标设计基础

• 指标是衡量目标的参数

• 指标分类：定性指标与量化指标、虚荣指标与可付诸行动的指标、探索性指标与报告性指标、先见性指标与后见性指标、相关性指标与因果性指标

• 电子商务关注哪些指标：GMV、转化率、年均购买率、单数、消费金额

4.4.数据分析报告完整案例

• 项目概述

• 数据来源

• 用户监测核心指标及定义

• xxx分析

• 报告总结

4.5.Dashboard可视化分析

4.6.数据分析的正确姿势

• CRISP-DM方法论：商业理解 - 数据理解 - 数据准备 - 建模 - 评估 - 部署

• 数据时代的数据特征：容量Volume、种类Variety、速度Velocity、价值Value

• 数据处理：数据清洗、集成、转换

第五章 数据平台建设

5.1.数据治理

• 质量高的数据：组织数据一致性、完整性、正确性、合规性、及时性

• 数据治理框架：原则（安全性、开放性、有价值、有效性）；范围（元数据、数据开发、数据安全、数据价值、数据组织）；实施与评估（执行、审计、评估体系）

• 数据质量的检查一般分为事前规则验证、事中数据预警、事后数据清洗

5.2.数据产品之ETL

• Extract Transform Load，描述数据抽取、转换、加载的过程

• Kettle是常用的ETL处理开源免费工具

• ETL重点关注的能力：输入组件、选择字段组件、转换组件、输出组件

5.3.数据仓库建设

• 数仓两种模型：星型模型、雪花模型

• 数仓落地实施过程：数据调研、数据域划分、构建总线矩阵、构建明细模型、构建汇总模型、明确统计指标

• 建议将数仓分为三层：数据引入层ODS、数据公共层CDM、数据应用层ADS

• 维度表设计原则：尽可能生成丰富的维度属性、尽可能多的给出包含一些富有意义的文字性描述、区分数值型属性和事实、尽量沉淀出通用的维度属性

5.4.离线与实时数据仓库

• 数仓的发展：原始状态的ERP、CRM、SCM 》计算&存储大量异构数据 》实时产生结果

• 数仓架构的演变：经典数仓架构 》离线大数据架构（数据量暴增） 》Lambda架构（实时性） 》 Kappa架构（多业务、多数据源、事件型数据源） 》混合架构

• 实时数仓整体设计，涉及全局设计、数据模型、数据保障等几个方面

第六章 0-1设计BI分析产品

6.1.从点子到产品

6.2.BI竞品分析

6.3.0-1实现MVP

6.4.数据源模块建设

6.5.数据集模块设计

6.6.可视化模块设计

6.7.BI分析筛选器设计

6.8.数据产品1-10迭代方向

第七章 提升数据产品视野

7.1. 带你认识标签画像产品

• 定性就是用文字语言进行相关描述；定量就是用数学语言进行描述。

• 定性分析与定量分析应该是统一的，相互补充的。

• 用户画像常用来作为精准营销、推荐系统的基础性工作，其作用总体包括：精准营销、用户分析、数据挖掘、服务产品、行业报告

• 标签建模方式：SQL模式、用户行为（事件）、通过基础标签加工、机器学习

7.2. 带你认识知识图谱产品

• 知识图谱平台实施步骤：问题定义、收据收集、数据预处理、知识图谱设计、存储知识图谱、应用知识图谱、系统评估

• 常用的存储系统：Neo4J、OrientDB、JanusGraph、Jena等

• 设计知识图谱需要思考的问题：需要哪些实体、关系、属性。哪些实体可以作为属性，哪些属性可以作为实体。哪些信息不需要放在知识图谱。

• 业务原则：一切要从业务逻辑出发。也就是说通过观察知识图谱的设计也很容易推测其背后业务的逻辑

• 分析原则：知识图谱中任何一个实体都是为关系分析而服务

• 冗余原则：避免把超级节点放入到知识图谱中

7.3. 带你认识数据搜索产品

• 电商搜索（ES索引模型）

• 智能问答（NL-SQL建模）

• 知识模型（KBQA）

第八章 数据产品总监修炼之道

8.1. 全局视野-数据中台

• DT时代的业务数据化（新零售场景举例）：关联销售、智能组货、销售预测、产品设计、智能发券、智慧选址、智能推荐、客户画像

• 业务中台、应用中台、数据中台、智能中台

• 数据中台落地思路：业务数据化、数据资产化、资产服务化、流程自动化、场景化驱动

• 数据资产实施步骤：模现状、建规范、搭平台、管资产、做运营

• 数据服务类型：开发者基础服务（数据API服务、查询/分析服务、数据可视化服务、标签服务、视频结构化服务）、行业应用服务市场、行业AI模型

8.2. 数据创新应用-AI中台

• AI应用场景：智能推荐、数据画像、知识图谱、图像识别、自动流程处理、智能助手、分析预测

写在后面

• pdf书籍、笔记思维导图、资料打包下载地址：暂无
• 思维导图在线查看：点击打开
• 得到电子书地址：暂无