2019年11月5日 | 标签:

项目背景和调整
因为工作需要,要注册大量的论坛马甲小号,但是论坛的账号是需要邮箱去激活,我们没有那么多邮箱,如果先去注册一个邮箱再去注册一个论坛账号,非常费时
解决思路
我们其实需要的是一种类似万能邮箱,一次性生成大量生成注册大量邮箱账号,并且所有的邮箱收到激活邮件时会自动转到一个固定邮箱,方便我们去激活账号
解决方案
针对国外的论坛和国内的论坛发送来分 我们说下2种解决方案(国内的邮箱会收不到国外的论坛的激活信,最好是使用gmail等来注册,反之亦然)
海外论坛篇
经过检索我们发现,如果是需要大量的国外的邮箱账号(有些是国外论坛,用国内的邮箱是没有办法收到激活邮件) 就可以使用gmail的隐藏功能,既通过添加. 和+来实现
主要的原理是gmail其实是支持邮件字符串中任意位置可以加入. 以及尾部加+ 再加任意字符串 都代表邮件本身这隐藏设定来实现
具体是
注册一个gmail 邮箱 邮箱名字长点 如abcdefghijklm@gmail.com
gmail有个比较骚的操作就是可以在任意字符间加. 代表的是相同的邮箱 既
abcdefghijklm@gmail.com
a.bcdefghijklm@gmail.com
ab.cdefghijklm@gmail.com
abc.defghijklm@gmail.com
甚至是
abc.def.ghijklm@gmail.com
abc.def.g.hijklm@gmail.com
其实都是同一个邮箱
,并且gmail和googlemail这2个域名通用 既然
abc.def.ghijklm@gmail.com=abc.def.ghijklm@googlemail.com
但是加上. 其实邮箱个数还是有限的 如果是一个5位字符串的邮箱他的可能性只有十多种,还不算真正意义上的无限邮箱
其实Gmail还有一个隐藏功能既
还支持邮箱名称+ 任何字符串
如abc.def.ghijklm@gmail.com=abc.def.ghijklm+dfsdf45sdfdsf@gmail.com
既后面蓝色的字符是可以为任意,这样就可以生成真正意义上的无限邮箱
至于激活邮件 就只用进去你本身的gmail邮箱即可收取你的无限邮箱账号的邮件了
以上方法试用国外网站,国内网站会有2个问题, gmail邮箱可能会收不到,因为服务器在国外,反垃圾比较严格
这种情况后面可以用遨游魔术邮箱来解决,第2个是 有的网站不支持邮件名里面有+
这种问题也可以使用遨游来解决
说完国外无限邮箱账号以后 我们在说下国内的解决方案
国内论坛篇
 
既然针对网站不能使用带点或者加号作为邮箱名称
可以考虑使用遨游的解决方法
首先介绍下遨游的魔术邮箱原理
她其实是一个邮件中转器,既 为了隐藏自己的邮箱地址比如 ceo@baidu.com 这里可以使用ceo@abc.uu.me
这样的伪装邮箱来,这样就没人知道我是百度的CEO了,我要别人发到ceo@abc.uu.me的邮件自动被转发到 ceo@baidu.com,我就可以在网上大方的公布我的邮箱 而不用担心真实邮箱被知道, 并且
它还有一个功能 就是暗号 功能,如果我设置一个暗号 sina,那么 只要别人发送的邮箱名称中包含了sina
例如mingzisina@abc.uu.me,然后被发送到ceo@abc.uu.me 也就是我可以大量生产无限虚拟邮箱 但是背后都是同一个
以下是截图过程
顺便吐槽和讯的IT 太久没更新浏览器的兼容性 Mac下 无法上传图片 只能盗图

直接访问: https://www.uu.me 按照提示步骤注册。

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片写在最后 总结

本文介绍了2种 在短时间生产大量邮箱账号的办法,基本可以适用于所有普通的国外和国内论坛注册邮箱验证
这个方法的好处就是上手快,适用广  但是也有缺点就是如果有些论坛禁用了免费邮箱例如 qq 163 gmail 甚至是uu.me 这样的邮箱都不准用(有些论坛需要用公司邮箱注册,一般判断逻辑是排除所有市面上的免费邮箱,uu.me可能也会被封杀 如果知道的人多了)
并且这些邮箱最后的名称都不美观,如果我自己有一个公司域名 比如 www.alibaba.com 我希望生成大量的@alibaba.com邮箱并且 这些发送到这些大量邮箱的邮件都会转发到我私人邮箱 应该怎么做 我后文会有交代 生成无限邮件的终级方法
既利用企业邮箱加制定收信规则来生成大量自定义后缀的邮箱
终结方法比较繁琐 但是一劳永逸 因为使用遨游的解决方案 可能有一天遨游这个服务停了
但是需要购买一个域名 如果公司有域名就只需要配置下dns 然后这个方法需要点点技术基础
具体地址如下
http://cotine.blog.hexun.com/117780812_d.html
项目背景和调整
因为工作需要,要注册大量的论坛马甲小号,但是论坛的账号是需要邮箱去激活,我们没有那么多邮箱,如果先去注册一个邮箱再去注册一个论坛账号,非常费时
解决思路
我们其实需要的是一种类似万能邮箱,一次性生成大量生成注册大量邮箱账号,并且所有的邮箱收到激活邮件时会自动转到一个固定邮箱,方便我们去激活账号
解决方案
针对国外的论坛和国内的论坛发送来分 我们说下2种解决方案(国内的邮箱会收不到国外的论坛的激活信,最好是使用gmail等来注册,反之亦然)
海外论坛篇
经过检索我们发现,如果是需要大量的国外的邮箱账号(有些是国外论坛,用国内的邮箱是没有办法收到激活邮件) 就可以使用gmail的隐藏功能,既通过添加. 和+来实现
主要的原理是gmail其实是支持邮件字符串中任意位置可以加入. 以及尾部加+ 再加任意字符串 都代表邮件本身这隐藏设定来实现
具体是
注册一个gmail 邮箱 邮箱名字长点 如abcdefghijklm@gmail.com
gmail有个比较骚的操作就是可以在任意字符间加. 代表的是相同的邮箱 既
abcdefghijklm@gmail.com
a.bcdefghijklm@gmail.com
ab.cdefghijklm@gmail.com
abc.defghijklm@gmail.com
甚至是
abc.def.ghijklm@gmail.com
abc.def.g.hijklm@gmail.com
其实都是同一个邮箱
,并且gmail和googlemail这2个域名通用 既然
abc.def.ghijklm@gmail.com=abc.def.ghijklm@googlemail.com
但是加上. 其实邮箱个数还是有限的 如果是一个5位字符串的邮箱他的可能性只有十多种,还不算真正意义上的无限邮箱
其实Gmail还有一个隐藏功能既
还支持邮箱名称+ 任何字符串
如abc.def.ghijklm@gmail.com=abc.def.ghijklm+dfsdf45sdfdsf@gmail.com
既后面蓝色的字符是可以为任意,这样就可以生成真正意义上的无限邮箱
至于激活邮件 就只用进去你本身的gmail邮箱即可收取你的无限邮箱账号的邮件了
以上方法试用国外网站,国内网站会有2个问题, gmail邮箱可能会收不到,因为服务器在国外,反垃圾比较严格
这种情况后面可以用遨游魔术邮箱来解决,第2个是 有的网站不支持邮件名里面有+
这种问题也可以使用遨游来解决
说完国外无限邮箱账号以后 我们在说下国内的解决方案
国内论坛篇
 
既然针对网站不能使用带点或者加号作为邮箱名称
可以考虑使用遨游的解决方法
首先介绍下遨游的魔术邮箱原理
她其实是一个邮件中转器,既 为了隐藏自己的邮箱地址比如 ceo@baidu.com 这里可以使用ceo@abc.uu.me
这样的伪装邮箱来,这样就没人知道我是百度的CEO了,我要别人发到ceo@abc.uu.me的邮件自动被转发到 ceo@baidu.com,我就可以在网上大方的公布我的邮箱 而不用担心真实邮箱被知道, 并且
它还有一个功能 就是暗号 功能,如果我设置一个暗号 sina,那么 只要别人发送的邮箱名称中包含了sina
例如mingzisina@abc.uu.me,然后被发送到ceo@abc.uu.me 也就是我可以大量生产无限虚拟邮箱 但是背后都是同一个
以下是截图过程
顺便吐槽和讯的IT 太久没更新浏览器的兼容性 Mac下 无法上传图片 只能盗图

直接访问: https://www.uu.me 按照提示步骤注册。

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片

查看更多精彩图片写在最后 总结

本文介绍了2种 在短时间生产大量邮箱账号的办法,基本可以适用于所有普通的国外和国内论坛注册邮箱验证
这个方法的好处就是上手快,适用广  但是也有缺点就是如果有些论坛禁用了免费邮箱例如 qq 163 gmail 甚至是uu.me 这样的邮箱都不准用(有些论坛需要用公司邮箱注册,一般判断逻辑是排除所有市面上的免费邮箱,uu.me可能也会被封杀 如果知道的人多了)
并且这些邮箱最后的名称都不美观,如果我自己有一个公司域名 比如 www.alibaba.com 我希望生成大量的@alibaba.com邮箱并且 这些发送到这些大量邮箱的邮件都会转发到我私人邮箱 应该怎么做 我后文会有交代 生成无限邮件的终级方法
既利用企业邮箱加制定收信规则来生成大量自定义后缀的邮箱
终结方法比较繁琐 但是一劳永逸 因为使用遨游的解决方案 可能有一天遨游这个服务停了
但是需要购买一个域名 如果公司有域名就只需要配置下dns 然后这个方法需要点点技术基础
具体地址如下
http://cotine.blog.hexun.com/117780812_d.html
2019年11月4日 | 标签:

此文为之前那篇2分钟申请大量马甲邮箱的文的升级版 想了解简单方法的可以看这里
之前无限邮箱账号其实是利用的第3方网站提供的功能来实现,
缺点是 服务不够稳定,比如遨游这个暗号功能可能会下线,或者整个域名被封杀
而gmail邮箱国内访问也是问题,也会漏收国内激活邮件
从最终邮件的形式上来说 使用遨游的uu.me 这种邮箱不够美观生成的邮箱都是cotine@cotine.uu.me,也容易被封杀,因为这种影子邮箱的规则很容易被发现
而使用gmail这种 有的网站会把. 和+ 当成非法字符 不允许注册
所以就有了这篇文章
项目背景和挑战
有没有一种可以短时间申请大量邮箱小号,不需要谷歌这样的国外服务器 (因为要翻墙,虽然可以设置转发到国内邮箱),稳定不漏收
解决方案
其实使用腾讯企业邮箱
腾讯提供免费的企业邮箱功能既你可以使用你自己的域名假设一个邮件服务器
比如公司购买了一个域名www.alibaba.com 已经把网站也假设好了,现在需要创建公司邮寄ceo@alibaba.com
这样的邮箱系统,而不是在你的名片上印 163 qq这样的免费邮箱 ,腾讯就提供这样的服务 并且是免费的哦
而且腾讯还提供邮箱转移 功能,既别人发送不存在的邮箱如  ceo123@alibaba.com 你可以指定发送给help@alibaba.com
这样不会因为别人写错名字 漏掉邮件,这个功能给了我们生成大量邮件地址并且转发到同一邮箱的思路
具体步骤
首先你有一个自己的域名 很便宜十几块就可以搞一个例如 www.abc.com或者使用公司本来有的
进入域名的dns服务器设置 改成腾讯的mx 地址 具体方法如腾讯帮助文件
https://service.exmail.qq.com/cgi-bin/help?subtype=1&&id=20012&&no=1000569
主要容易错的地方是
按照腾讯的企业免费邮箱的方法注册账号在域名的dns服务商配置下mx的配置
 记得使用@ 作为别名  别使用dnspod 也就是腾讯自己提示的mail  这个地方错了很久
MX记录的意思是 当别人发邮件到abc@alibaba.com dns会先寻找该域名的mx记录,既找到腾讯的服务器地址
然后腾讯的服务器会处理这个域名账号 dns的别名写的是mail 就会变成 aba@mail.alibaba.com 所以这里必须要写@
代表本身
设置好腾讯的企业邮箱以后
创建一个admin邮箱如admin@alibaba.com
最后使用 腾讯邮箱的邮箱转移既
从外部发往您的企业邮箱的邮件,如果收件人不存在,就将邮件转移到指定邮箱。该邮箱可能收到许多垃圾邮件,建议设置为非工作邮箱。即可 吧这个转移邮箱设置为admin@alibaba.com
那么任意字符串的邮件用户名就会发到admin@alibaba.com
又因为这是腾讯企业邮箱 所以支持pop协议
再到你自己私人qq邮箱里面 添加代收邮件 加入企业邮箱的pop地址和账号
既可在自己私人邮箱里面查收所有发动到@alibaba.com 的邮件了
此文为之前那篇2分钟申请大量马甲邮箱的文的升级版 想了解简单方法的可以看这里
之前无限邮箱账号其实是利用的第3方网站提供的功能来实现,
缺点是 服务不够稳定,比如遨游这个暗号功能可能会下线,或者整个域名被封杀
而gmail邮箱国内访问也是问题,也会漏收国内激活邮件
从最终邮件的形式上来说 使用遨游的uu.me 这种邮箱不够美观生成的邮箱都是cotine@cotine.uu.me,也容易被封杀,因为这种影子邮箱的规则很容易被发现
而使用gmail这种 有的网站会把. 和+ 当成非法字符 不允许注册
所以就有了这篇文章
项目背景和挑战
有没有一种可以短时间申请大量邮箱小号,不需要谷歌这样的国外服务器 (因为要翻墙,虽然可以设置转发到国内邮箱),稳定不漏收
解决方案
其实使用腾讯企业邮箱
腾讯提供免费的企业邮箱功能既你可以使用你自己的域名假设一个邮件服务器
比如公司购买了一个域名www.alibaba.com 已经把网站也假设好了,现在需要创建公司邮寄ceo@alibaba.com
这样的邮箱系统,而不是在你的名片上印 163 qq这样的免费邮箱 ,腾讯就提供这样的服务 并且是免费的哦
而且腾讯还提供邮箱转移 功能,既别人发送不存在的邮箱如  ceo123@alibaba.com 你可以指定发送给help@alibaba.com
这样不会因为别人写错名字 漏掉邮件,这个功能给了我们生成大量邮件地址并且转发到同一邮箱的思路
具体步骤
首先你有一个自己的域名 很便宜十几块就可以搞一个例如 www.abc.com或者使用公司本来有的
进入域名的dns服务器设置 改成腾讯的mx 地址 具体方法如腾讯帮助文件
https://service.exmail.qq.com/cgi-bin/help?subtype=1&&id=20012&&no=1000569
主要容易错的地方是
按照腾讯的企业免费邮箱的方法注册账号在域名的dns服务商配置下mx的配置
 记得使用@ 作为别名  别使用dnspod 也就是腾讯自己提示的mail  这个地方错了很久
MX记录的意思是 当别人发邮件到abc@alibaba.com dns会先寻找该域名的mx记录,既找到腾讯的服务器地址
然后腾讯的服务器会处理这个域名账号 dns的别名写的是mail 就会变成 aba@mail.alibaba.com 所以这里必须要写@
代表本身
设置好腾讯的企业邮箱以后
创建一个admin邮箱如admin@alibaba.com
最后使用 腾讯邮箱的邮箱转移既
从外部发往您的企业邮箱的邮件,如果收件人不存在,就将邮件转移到指定邮箱。该邮箱可能收到许多垃圾邮件,建议设置为非工作邮箱。即可 吧这个转移邮箱设置为admin@alibaba.com
那么任意字符串的邮件用户名就会发到admin@alibaba.com
又因为这是腾讯企业邮箱 所以支持pop协议
再到你自己私人qq邮箱里面 添加代收邮件 加入企业邮箱的pop地址和账号
既可在自己私人邮箱里面查收所有发动到@alibaba.com 的邮件了
2019年11月2日 | 标签:

项目背景和挑战

有时候需要使用爬虫批量抓取一系列网址的指定位置,并且导入到excel,一般的思路是使用python,但是需要懂编程语言 并且假设运行环境 并且学习保存文件 和乱码 要累死人,使用桌面端软件如八爪鱼 火车头等软件是简单,但是需要安装软件并且保存的数据也是有格式要求,如果是少量的数据 特地去下载安装也比较费事,

解决思路
有没有一种比较简单的
不需要任何编程基础
不需要安装任何软件
只要点几下鼠标就能做出来爬虫 抓取大量网站的内容 并且把需要的数据保存到excel
答案是有的 只需要3秒,复制2次就可以抓取任意网站的任意内容
操作方法
其实就利用谷歌的产品谷歌文档 google docs中google sheets,它其实是一个在线的excel网站
但是有一个函数功能可以抓取网页,并且能指定抓取的方法(xpath) 达到精准抓取的目的
当然整个解决方案的前提是
你要能扶墙到国外,访问谷歌文档的google sheets,使用他的importxml 函数
1,使用谷歌浏览器 chrome 选择你要抓取的网页的内容  点击右键 选择
如图所示 打开https://news.163.com/18/1203/10/E23JJ2DN0001875P.html 网易新闻
选中标题右键检查后
查看更多精彩图片
2 在chrome打开的开发工具里面选择标题的代码 选择 复制  – xpath

查看更多精彩图片

3  打开谷歌文档的谷歌sheets 可以新建一个 https://docs.google.com/spreadsheets/u/0/

输入公式,这里可以把抓取的网址放在一个单元格, 复制过来的xpath放在另外一个单元格
使用公式importxml 输入这2个单元格的地址即可  可以看到 该公式会抓取页面后 根据xpath的路径把文字抓取来 放到单元格中
查看更多精彩图片
再换一个例子 看看我们抓取新闻来源
1,打开网址http://money.163.com/18/1203/10/E23I0L6D002580S6.html 选择新闻来源文字右键检查 在打开的开发者工具中复制 xpath
查看更多精彩图片
2 在google sheets中 插入xpath公式 发现公式无法运行 原因是公式的输出会覆盖别的单元格 我们需要换个位置放公式
查看更多精彩图片
3我们修改下公式的位置放到别的地方
发现输出的信息分到3个单元格 原因是因为抓取的文字是包含在3个不同的html标签 所以会被分成3个单元格存放
这里有2个解决办法

查看更多精彩图片

4.1 解决google sheets中的importxml 输出多个单元格的方法1,再使用一个concatenate公式 强行把输出的信息写成一个字符串
查看更多精彩图片

4.2解决google sheets中的importxml 输出多个单元格的方法2,
重新选择xpath ,精确选择具体的元素 重新修改xpath
查看更多精彩图片

4.2.1 这里可以看到精确修改后的xpath就只会输出一个元素 不需要加公司 更加精确(推荐)

如果我们要抓取的是非文字信息如超链接的地址
只需要把xpath里面的信息 //*[@id=”ne_article_source”] 换成了//*[@id=”ne_article_source”]/@href
就可以抓取这个a标签的href属性的值 是不是很简单

查看更多精彩图片

写在最后
 
 
本文介绍了一种迅速简单的办法根据页面的URL和对应元素的xpath 利用谷歌文档来当爬虫 抓取的例子
方法比较简单 容易上手
关于xpath的详细介绍 可以看这篇 xpath语法入门到实战
但有的网址会有反爬机制 需要指定浏览器访问头信息 和其他信息 就不能用这种了
并且如果我们想要抓取列表信息,如一个页面有20个新闻标题以及对应的url或者百度的搜索结果
页面 我们要抓取前100个网址结果来比对 查询seo排名(后面会讲) 这个方法就不适用了
针对使用importxml 抓取多个结果的方法 会另外写一篇来讲解
项目背景和挑战

有时候需要使用爬虫批量抓取一系列网址的指定位置,并且导入到excel,一般的思路是使用python,但是需要懂编程语言 并且假设运行环境 并且学习保存文件 和乱码 要累死人,使用桌面端软件如八爪鱼 火车头等软件是简单,但是需要安装软件并且保存的数据也是有格式要求,如果是少量的数据 特地去下载安装也比较费事,

解决思路
有没有一种比较简单的
不需要任何编程基础
不需要安装任何软件
只要点几下鼠标就能做出来爬虫 抓取大量网站的内容 并且把需要的数据保存到excel
答案是有的 只需要3秒,复制2次就可以抓取任意网站的任意内容
操作方法
其实就利用谷歌的产品谷歌文档 google docs中google sheets,它其实是一个在线的excel网站
但是有一个函数功能可以抓取网页,并且能指定抓取的方法(xpath) 达到精准抓取的目的
当然整个解决方案的前提是
你要能扶墙到国外,访问谷歌文档的google sheets,使用他的importxml 函数
1,使用谷歌浏览器 chrome 选择你要抓取的网页的内容  点击右键 选择
如图所示 打开https://news.163.com/18/1203/10/E23JJ2DN0001875P.html 网易新闻
选中标题右键检查后
查看更多精彩图片
2 在chrome打开的开发工具里面选择标题的代码 选择 复制  – xpath

查看更多精彩图片

3  打开谷歌文档的谷歌sheets 可以新建一个 https://docs.google.com/spreadsheets/u/0/

输入公式,这里可以把抓取的网址放在一个单元格, 复制过来的xpath放在另外一个单元格
使用公式importxml 输入这2个单元格的地址即可  可以看到 该公式会抓取页面后 根据xpath的路径把文字抓取来 放到单元格中
查看更多精彩图片
再换一个例子 看看我们抓取新闻来源
1,打开网址http://money.163.com/18/1203/10/E23I0L6D002580S6.html 选择新闻来源文字右键检查 在打开的开发者工具中复制 xpath
查看更多精彩图片
2 在google sheets中 插入xpath公式 发现公式无法运行 原因是公式的输出会覆盖别的单元格 我们需要换个位置放公式
查看更多精彩图片
3我们修改下公式的位置放到别的地方
发现输出的信息分到3个单元格 原因是因为抓取的文字是包含在3个不同的html标签 所以会被分成3个单元格存放
这里有2个解决办法

查看更多精彩图片

4.1 解决google sheets中的importxml 输出多个单元格的方法1,再使用一个concatenate公式 强行把输出的信息写成一个字符串
查看更多精彩图片

4.2解决google sheets中的importxml 输出多个单元格的方法2,
重新选择xpath ,精确选择具体的元素 重新修改xpath
查看更多精彩图片

4.2.1 这里可以看到精确修改后的xpath就只会输出一个元素 不需要加公司 更加精确(推荐)

如果我们要抓取的是非文字信息如超链接的地址
只需要把xpath里面的信息 //*[@id=”ne_article_source”] 换成了//*[@id=”ne_article_source”]/@href
就可以抓取这个a标签的href属性的值 是不是很简单

查看更多精彩图片

写在最后
 
 
本文介绍了一种迅速简单的办法根据页面的URL和对应元素的xpath 利用谷歌文档来当爬虫 抓取的例子
方法比较简单 容易上手
关于xpath的详细介绍 可以看这篇 xpath语法入门到实战
但有的网址会有反爬机制 需要指定浏览器访问头信息 和其他信息 就不能用这种了
并且如果我们想要抓取列表信息,如一个页面有20个新闻标题以及对应的url或者百度的搜索结果
页面 我们要抓取前100个网址结果来比对 查询seo排名(后面会讲) 这个方法就不适用了
针对使用importxml 抓取多个结果的方法 会另外写一篇来讲解