2019年6月5日 | 标签:

项目背景

 

每个月需要从GA工具中下载固定的原始数据(分成若干表,汇报不同维度数据,如不同渠道的流量,不同页面内容的流量,不同渠道和页面内容的转换指标)然后再对数据进行清洗和整理(例如不规范的tracking code需要换成正常的,冗长的页面URL需要换成标准统一的产品名称)

最后进行分类和统计,进行可视化,(根据不同维度拆分,进行月度趋势分析)

 

目前的挑战

 

通过人工每个月去提取数据,频率太低,我们需要更高频如每天而不每个月去看数据变化趋势,并结合我们的动作,及时反馈和响应

同时人工的方法GA不同的子报表中下载数据需要比较多的时间,也会出错,我们希望减少人工投入时间,降低出错

省下做报告的时间,花更多时间去分析数据和进行优化建议的实施

 

 

目前的解决思路

 

主要讲我们的方案分别为三步,

 

  • 数据获取自动化
  • 数据清洗和归类自动化
  • 数据可视化自动化

 

 

本文主要讲解数据获取自动化实施方案

 

获取GA的数据一般可以有3种办法

使用帐号密码登录,进入配置好的自定义报告中下载

使用第3方工具配置好参数下载(例如google sheet的插件)

使用脚本(google sheets脚本,获取python或者excel的VBA或者PHP)通过谷歌的API下载

 

这里能自动化的只有后2者,使用第三方工具如google sheet的插件最方便的,不需要写代码,通过点下按钮 数据即可完成

下面内容主要是介绍使用google sheet的插件来完成自动化获取数据

 

 

 

我们想要自动化去GA数据库获取我们需要的数据,而不用人工每次扶梯子去下载,并且我们希望 自动获取数据后自动进行清洗 分类,并且自动化实现图表化,并且最好是能按天为单位自动去显示实时的数据,而不是每个月等到人工去完成

 

 

  • 在GA中的自定义报告中设置好需要查看的数据维度,并进行测试
    • 这一步其实是在打草稿,因为在google sheets中使用插件不方便调试数据参数

最有效的方式就是在GA的自定义报告中对数据维度进行拖拽并测试

 

以其中一张raw3表格为例

可以看到里面包含了若干的数据 主要每个页面的表现

页面的名称叫page, 指标是session等

点击编辑表格可以看到

彼此对应的metric和dimension

记住以上的dimension和metric

 

 

现在 我们使用google sheets来获取这些数据

 

打开google sheet 新建一个sheet

起名叫GA Report testing0603

 

点击导航栏的add-on,安装一个叫google analytics的插件

安装好以后,google sheet里面就会增加一个create new report的按钮

在弹出的对话框输入报告的名称,这个名称也是以后放置数据的sheet名称

Account和property还有view的选择和你的GA账户设置保持一致

可以点击Ga查看你的account以及property还有view的名称就可以知道选

 

这里关于dimension和metric的设置可以参考GA报告

设置好了就是

 

其中有一个比较特别是关于goal的设置

其中完成数量和转换率

我们使用goalx completions来代替

 

 

 

最后就是这个

我们需要把这里的XX换成7 既

ga:goalXXCompletions,ga:goalXXConversionRate

换成

ga:goal7Completions,ga:goal7ConversionRate

 

其中关于

关于metrics和order 还有filters的设置 可以参考下面的网址介绍

https://developers.google.com/analytics/devguides/reporting/core/dimsmets#view=detail&group=session

 

同理可以制作raw1的报告

 

此致可以从GA中把数据输出到Google Sheet中了,

最后使用插件的schedule 功能,即可定期去运行

 

2019年5月18日 | 标签:

故事背景

上海移动提供一个和全家的服务,可以申请一个虚拟手机号,不需要买双卡刷待 即可同时拥有2个号码拨打电话和发送短信的功能(具体可以百度查)

但是移动选号提供最后4位选择号码,如果比较好的号码比如8888 肯定是没有了再比如生日也么有

这4位只能匹配移动号码的最后4位 无法中间查询,于是我就想使用爬虫模拟发送0001-9999

即可把移动数据库里面的所有可以选的号码抓出来

 

思路介绍:

APP IOS抓包:

最开始是在app上发现这个入口,想着去抓取手机的数据包看看发送请求的网址,但是因为事https加密,弄了很久

又是设置手机代理,又是下载电脑证书,还有手机证书,好生麻烦,最后放弃

 

转移战场:

无意间我在微信里面看到了这个活动页面,既它留了一个H5的接口,那么就可以绕过APP抓包的问题,通过谷歌浏览器

轻松看到发包对象的网址

然后看到了传递的4个参数,并且看到了传回来的的值

 

但是因为也是https加密,并且带cookie还有session,如果有第3方网抓软件是非常复杂的去模拟这些信息

也是无意间看到谷歌浏览器的console可以运行js脚本,并且js脚本是可以发送http请求的

于是就把好这个东西做出来了

如下图所示

为了安全就不放代码(免得被移动找人请喝茶)

 

 

2019年5月10日 | 标签:

需求背景:

之前做了一个利用google sheets的script功能通过百度api下载账户金额然后自动报警的工具

然后想到之前网站看到别人用Excel也做过类似的东西,但是通过的是PowerBI

但是那东西太复杂了 就想着用VBA自己做了一个

 

使用场景:

自己定义时间账户的开始和结束时间,可以下载账户总的消费,也可以分周  分日 和分月

还可以下载每一个计划的分周 分月 分日,甚至是每一个关键词和每一个创意的

再也不用去登录账户了

之后跨账户的报告就可以用若干个这样的excel文件 打开一次 就可以复制一直的值 到大表里面 提升速度

 

先效果图(点击查看大图)

 

 

 

 

 

 

再放静态图

 

最后放链接

 

 

 

链接: https://pan.baidu.com/s/1GWYZMqZQ-A7KviULSKp1Eg

 

提取码: t2jy

 

 

 

里面有详细使用方法

如如何开通百度API

如果开启Excel宏

如何开启VBA中引用