Stephen的SEM博客

前言：

最近负责一个电商数据平台项目，了解了阿里推出的数据中台，下文是从相关资料和个人的理解，如有不之处 还请指正

 

什么是数据中台

简单来说，就是阿里云开发的一款企业数据治理和运用的平台

 

他有什么用

如上面介绍，治理企业内部数据，和使用这些数据提升电商的效率

结合下图可以看到以下几个问题

企业数据来源广且各自分割，无法协同

企业的数据现状是会有很多第1方数据，如订单数据，商品数据，客户数据等，这些都是企业不同的业务单位产生和维护的-订单数据（电商平台app，PC官网 小程序产生），商品数据（供应链系统产生，包含供应商资料，库存数量，规则参数等），客户数据（不同电商平台，门店，小程序产品）这些数据其实内部都不是相同的，因为不同的部门在使用和不同的供应商和企业不同的阶段开发的，所以在相互调用和协同上会有很多问题，这只是企业内部的数据，如果再算上第3方的如DMP 数据库微信后台，微博后台数据，这些就更加独立和封闭了

所以阿里云自己做了一套产品叫dataphin，就是吧这些数据进行打通，具体就是使用one id的形式将所有数据给规范起来，类似秦始皇统一6国 后 统一货币和度量衡，短期是阵痛，长期是利国利民

具体的方式是利用阿里自己对内的系统进行改装（阿里生态数据也很多，所以这个产品之前是阿里内部用，现在做成对外版本，可以商家用），把用户都使用比如手机号进行识别，这样可以做到跨域的识别，但是实际做的过程会比较复杂，因为有的域不支持手机号，比如微博只有昵称，淘宝只有id，所以内部会有一个映射表，无论有身份证号，手机号，淘宝账号，微博id，手机mac地址等，都可以跨域识别你

所以数据中台的第一步是识别你，使用的就是dataphin ，继续数据治理，实现跨域识别

里面有一个比较有意思的功能是标签管理，为了后期使用方便，这些识别的人还会创建一个标签夹，下次比如我查所有女生就可以看到不同域的女生信息，我查所有肉产品，就可以看到不同域的肉产品的所有信息

这些就是为了后期查询和管理方便创建，也是进行数据运营的前提（建立标签就可以对标签进行索引，查询速度就会提升很多，这个也是为什么自己创建的大数据系统很慢，但是用第3方很快的原理，成熟的索引技术）

然后就是中台的第2部分 数据运营

包含2个产品，quick audience，用户洞察工具，本质就是数据银行的增强版，既包公域数据，也包含私域数据，方便的调看用户域的所有数据，其实就是阿里的人货场理论的人相关的所有数据，估计内部就是使用oneid打通后识别跨域查询和分析

一个是quick bi，商品分析工具，本质上就是生意参谋增强版，可以查看产品的销售渠道，销量，库存，等信息。仓库预警，智能组货可以提升毛利润（之后会出一个文章专门讲这快）

有了这2个工具，就可以在现有的数据银行和生意参谋里面查看来自企业一方的数据（增加了一个按钮）

看人和货的视角会更加全面

 

 

 

下图讲解的以营销和分析2个维度讲解数据的流程

全域营销

建立在企业一方数据上，打通自有数据，首先会进行基础指标的建立，然后衍生出人的相关指标和特俗标签

然后衍生出来的人的标签就可以给quick auidence使用，具体包括了用户属性分析 画像和RFM行为分析

最终是生成出来人群包，给到数据银行做数据的洞察和媒介的也运用

还有一部分dataphin出来的数据直接生成了分析的预设模板，可以做人货场的分析（聚石塔的数据存储无限长时间（付费）所以比生意参谋的几个月好，与生意参谋是互补

 

下面重点讲了人群洞察的使用

分3次圈选

1， 第一次圈选：自有数据融合

从自有数据使用quick auidence 选出精选人群，可以传递到数据银行，其中第3方数据可以回流dataphin（需要企业自己对接， dataphin给接口），然后。quick auidence 选出来的人也可以推送到第3方dmp如 头条，百度的广告里面投放

2，第2次圈选：多域数据推送天猫营销平台（支付宝，直波号等）

从quick audience圈选推送到数据银行的数据可在数据银行中进行交并差与其他品牌数据信息整合洞察，

 

3，第3次圈选：多余数据推广到阿里妈妈广告平台（钻展，优酷，小红书，微博）

从数据银行与自有数据融合的数据推到阿里妈妈广告平台个产品投放

 

 

总结：

数据中台就是把企业自有数据整和到阿里云平台后，实现增强版的数据查看和运用功能

数据查看：

以前使用 生意参谋看店铺数据，品牌数据银行看人群数据

现在使用生意参谋增强版（包含企业非天猫店铺数据，线下店铺，官网，微信小程序）

quick bi，自定义的模板调看任何数据，包含生意参谋

使用品牌数据银行增强版查看包含了自有域的用户的所有数据，如店铺人群数据或者官网人群数据洞察

quick auidence，使用自定义标签查看人群数据

 

用数据

以前用数据银行投放到阿里平台，现在使用增强版本的投

增加了一个quick auiden 选出来的数据直接投或者通过数据银行投

今天看了几场钉钉群里的行业直播，觉得价值很大，但是不允许下载，就想用电脑录屏然后保存起来
使用的MAC的自带视频录制软件，quicktime player，可以全屏和自定义区域录制，很好用

但是保存下来的文件就很头大，我只录了一个小窗口的5分钟，居然文件大小有120M，然后自带的导出功能我想换低点的分辨率，导出为720P，然而居然导出后文件大小更大了。。

他的名字就是handbrake

免费的开源 mac下 视频压缩软件

https://handbrake.fr/downloads.php

最好百度找了好久才发现这个神器 2个有个最大的优点
1，免费-法国的一个人开源软件
2，号称是微信官方指定唯一编辑视频软件，因为可以自定义精准的分辨率

我尝试了下，居然5分钟的视频从原来的120M 直接变成了12M 太厉害了

最后上图展示下结果
视频体检小了10分之一 ，分辨率没有变化

 

标题：mysql学习第11天right join inner join用法

——————————————————————————————————————————-

时间：2012/4/28 13:03:09

——————————————————————————————————————————-

内容：

create table boy
(name varchar(10),flower varchar(10)) character set utf8;
insert into boy
values
(‘谢霆锋’,’菊花’),
(‘吴宗宪’,’梅花’),
(‘刘德华’,’桃花’),
(‘周润发’,’玫瑰’),
(‘小沈阳’,’没钱花’);

 

create table girl
(name varchar(10),flower varchar(10)) character set utf8;

insert into girl
values
(‘张柏芝’,’菊花’),
(‘张静初’,’玫瑰’),
(‘邱淑贞’,’桃花’),
(‘张柏芝’,’玫瑰’),
(‘空姐’,’菊花’),
(‘小泽玛莉亚’,’玫瑰’),
(‘范冰冰’,’茉莉’);

select boy.*,girl.* from boy left join girl on boy.flower=girl.flower;

select boy.*,girl.* from boy right join girl on boy.flower=girl.flower;

select boy.*,girl.* from boy inner join girl on boy.flower=girl.flower;

 

 

解读一个误区 left join不是excel的 vlookup

如果是主表在附表有2行以上匹配的时候 他会全部列出来 主表会重复

比如主表10行数据 附表10个行数 最后的表的数据大于等于10行 主表没配对上的留空

主表多配对的列出来多有配对的情况

inner join就是删掉了没有配对的情况

create table boy
(name varchar(10),flower varchar(10)) character set utf8;
insert into boy
values
(‘谢霆锋’,’菊花’),
(‘吴宗宪’,’梅花’),
(‘刘德华’,’桃花’),
(‘周润发’,’玫瑰’),
(‘小沈阳’,’没钱花’);

 

create table girl
(name varchar(10),flower varchar(10)) character set utf8;

insert into girl
values
(‘张柏芝’,’菊花’),
(‘张静初’,’玫瑰’),
(‘邱淑贞’,’桃花’),
(‘张柏芝’,’玫瑰’),
(‘空姐’,’菊花’),
(‘小泽玛莉亚’,’玫瑰’),
(‘范冰冰’,’茉莉’);

select boy.*,girl.* from boy left join girl on boy.flower=girl.flower;

select boy.*,girl.* from boy right join girl on boy.flower=girl.flower;

select boy.*,girl.* from boy inner join girl on boy.flower=girl.flower;

 

 

解读一个误区 left join不是excel的 vlookup

如果是主表在附表有2行以上匹配的时候 他会全部列出来 主表会重复

比如主表10行数据 附表10个行数 最后的表的数据大于等于10行 主表没配对上的留空

主表多配对的列出来多有配对的情况

inner join就是删掉了没有配对的情况

 

 

标题：mysql 学习第12天 left join嵌套使用和列操作

——————————————————————————————————————————-

时间：2012/4/30 1:18:25

——————————————————————————————————————————-

内容：

create table goods
(goods_id int primary key auto_increment,
goods_name varchar(20),cate_id int,brand_id int,price decimal(7,2) not null default 0.01);

 

创建一个goods表 里面的主键是goods_id 这里的auto_increment不要拼写错误
包含商品名称商品id 品牌id 产品类型id价格 基本是以数字为住 方便快速查询同类商品（where cateid=3 比where catename=手机 效率要快很多）和分类 节约空间 用数字代表长的字符串
修改商品分类信息 只用去调用的信息里修改就可以 不影响主表 特别是主表数据几万条 我只用修改id对应的名称即可 不用update几万条数据

insert into goods
(goods_name,cate_id,brand_id,price)
values
(‘联想手机’,1,1,1334.44),
(‘三星手机’,1,2,2334.44),
(‘苹果电脑’,2,3,7334.44),
(‘苹果手机’,1,3,5334.44);

给商品表信息加一些数据

create table category
(cate_id int,cate_name varchar(20));
insert into category
values
(1,’手机’),
(2,’电脑’);

创建一个类别名称表 给商品表调用

create table brand
(brand_id int,brand_name varchar(20));
insert into brand
values
(1,’联想’),
(2,’三星’),
(3,’苹果’);
创建一个品牌名称表 方便调用品牌名

select * from goods left join category on cate_id=category.cate_id;
我现在要根据商品表 主表里的信息查找对应的商品类别名称  这里面的cate-id要指明 要不会分校不清楚

select * from (select goods_id,goods_name,brand_id,goods.cate_id,category.cate_name from goods left join category on goods.cate_id=category.cate_id) as temp left join brand on temp.brand_id=brand.brand_id;
我这里要做一个2次调用 嵌套链接 把前面的结果当场一个临时表 然后用as 给他起个名字 再用这个临时的temp表和品牌表一起做左链接 调用

select * from goods left join category on goods.cate_id=category.cate_id left join brand on goods.brand_id=brand.brand_id;

或者直接在后面写 因为mysql计算顺序的时候 首先是计算from后面的得到原始数据 再安装select去除相应的列
再用where判断 所以我不用带括号直接 left join 再接一个left join

关于列修改
增加列是
alter table tablename add colomnname int after|first
来定位新增加的列
例如
alter table goods add test int first;

修改列
alter table goods test stock int;

删除
alter table goods drop stock;

create table goods
(goods_id int primary key auto_increment,
goods_name varchar(20),cate_id int,brand_id int,price decimal(7,2) not null default 0.01);

 

创建一个goods表 里面的主键是goods_id 这里的auto_increment不要拼写错误
包含商品名称商品id 品牌id 产品类型id价格 基本是以数字为住 方便快速查询同类商品（where cateid=3 比where catename=手机 效率要快很多）和分类 节约空间 用数字代表长的字符串
修改商品分类信息 只用去调用的信息里修改就可以 不影响主表 特别是主表数据几万条 我只用修改id对应的名称即可 不用update几万条数据

insert into goods
(goods_name,cate_id,brand_id,price)
values
(‘联想手机’,1,1,1334.44),
(‘三星手机’,1,2,2334.44),
(‘苹果电脑’,2,3,7334.44),
(‘苹果手机’,1,3,5334.44);

给商品表信息加一些数据

create table category
(cate_id int,cate_name varchar(20));
insert into category
values
(1,’手机’),
(2,’电脑’);

创建一个类别名称表 给商品表调用

create table brand
(brand_id int,brand_name varchar(20));
insert into brand
values
(1,’联想’),
(2,’三星’),
(3,’苹果’);
创建一个品牌名称表 方便调用品牌名

select * from goods left join category on cate_id=category.cate_id;
我现在要根据商品表 主表里的信息查找对应的商品类别名称  这里面的cate-id要指明 要不会分校不清楚

select * from (select goods_id,goods_name,brand_id,goods.cate_id,category.cate_name from goods left join category on goods.cate_id=category.cate_id) as temp left join brand on temp.brand_id=brand.brand_id;
我这里要做一个2次调用 嵌套链接 把前面的结果当场一个临时表 然后用as 给他起个名字 再用这个临时的temp表和品牌表一起做左链接 调用

select * from goods left join category on goods.cate_id=category.cate_id left join brand on goods.brand_id=brand.brand_id;

或者直接在后面写 因为mysql计算顺序的时候 首先是计算from后面的得到原始数据 再安装select去除相应的列
再用where判断 所以我不用带括号直接 left join 再接一个left join

关于列修改
增加列是
alter table tablename add colomnname int after|first
来定位新增加的列
例如
alter table goods add test int first;

修改列
alter table goods test stock int;

删除
alter table goods drop stock;