Document

寄生淘宝的反诚信软件防范
千峰(彭渊)
提纲
• 非诚信软件概览与背景
• 秒杀器演示和原理
• 刷钻原理
• 防范措施
• 防范成果
• 技术架构
• 技术延升
非诚信软件的定位和防范
• 淘宝巨大的c2c,b2c交易量和影响力,产生了秒杀
器、刷钻软件、代拍器、爬虫等非诚信软件(秒杀、
刷钻平台)泛滥,寄生淘宝牟取暴利。需要对市场
上利用淘宝交易系统进行非诚信活动的秒杀器、虚
假交易炒信用、爬虫的工具软件进行研究和防范。
研究包括对该类软件的技术原理研究,防范包括请
求识别并建立相应防范体系。
秒杀器的发展
网上商品秒杀活动经过淘宝策划和发展,目前
已经成为知名度很高,市场效应很火爆的网络
促销方式,但是目前遭受到市场上一些不正当
的秒杀软件的干扰破坏,已经严重影响到秒杀
活动的公正性,消费者失去参与信心和兴趣,
在社会上对淘宝造成负面影响,为了保护秒杀
业务能继续成功的发展下去,有必要采取一系
列措施从各个方面进行防范。
秒杀器的发展
2009年9月联想、飞利浦、惠普等名牌产品,在淘宝商城共同推出“1元秒杀”
活动。每天20时上架20件不同的商品,包括液晶电视机、笔记本电脑等,全部以1
元价格销售,秒杀活动结束后淘宝网统计发现,此次秒杀促销活动共有18亿人次参加,
平均每天参加秒杀活动的人数达到3亿。
•
没有秒杀器 只能去抬轿
•
2010年12月10日,网友“蔺先生”投诉国内某大型电器商城组织的“秒杀”活动,
称网页显示“秒杀”成功的用户中有该电器商城的员工,但广大网民反映未能进入
“秒杀”页面,进入后却显示活动结束。“蔺先生”怀疑该电器商城发布虚假广告,
诱导用户访问网站及注册,骗取流量。
•
2010年11月11日,双十一大促,众多大型秒杀活动完全暴露出秒杀器泛滥的严重性,
太多顾客无法手工秒杀成功,大量秒杀器四处销售,网络秒杀器利益链秒客月入数千至
万元,淘宝交易团队被迫成立秒杀器等非诚信软件的防范小组.
秒杀器的演示和原理
•
秒杀器
-- 秒杀器是一个自动下单软件,可开启10个进程同时进行下单操作,下单的
时间间隔为0.1至10秒之间可调。它可以在1分钟之内发送上百次订购请求,
远远胜过手工下单的速度。
用户在秒杀开始前提前几秒钟启动秒杀功能,软件即不断地发送订购请求,
并且实时返回订购状态信息。秒杀器也叫“抢拍器”,当时只是针对购买衣
服的一些用户,近年多次淘宝的秒杀活动才让更多人认识了这种软件。它主
要是为了把下单的流程量降到最低,并且将该操作提前进行,在提交抢拍数
据时,会自动判读提交数据是否有效,如果无效可以瞬间再次自动提交,无
需人工介入,这个功能在抢拍器中叫做“辅助抢拍”,其速度是以毫秒为单
位计算的,从此可见人工提交速度会被远远的抛在后面。
秒杀器的演示和原理
•
秒杀器实际上是利用了淘宝交易业务系统的http请求接口,通过开发http通讯
交互软件,伪装ie浏览器的合法请求,将人工交互变成机器交互的过程,目的为
了尽可能的减少交互时间,高效完成下单。
•
模仿编写的秒杀器演示
炒信刷钻的发展
来自卖家的心声:
为什么要刷信誉·刷钻?
㈠、信誉越高,买家在选择不同卖家相同产品时,首选信用级别高的!
㈡、信誉越高,你的商品在同类商品中的排列位置就越靠前!
㈢、信誉越高,淘宝店铺就会免费为你打广告,让你参加促销活动的!
㈣、信誉越高,你的橱窗推广位置就越靠前!
㈤、信誉越高,你的店在淘宝店铺的排列位置就越靠前!
㈥、信誉越高,你的成交量、交易额便会递增,你的收入也就越来越高!
炒信刷钻的发展
刷钻,卖家不得不做的
信誉不到钻的卖家竞争力低下:随着越来越多的人拥入网络创业的行业
里,市场竞争也越来越残酷,而淘宝又是以信誉从高到低来排列商品的。
这样势必造成一种恶性循环--信誉高的越来越高生意越来越好,而没
有信誉的卖家根本没有露脸的机会!生意越来越惨淡,最后退出市场。
而后入的商家要先在激烈的网购市场里争得一份羹,必选择刷信誉。这
是进入这个行业的敲门砖。
市场越来越浮燥,没有信誉的商家更是被的入十八层地狱,永无出头之日。
不能怪卖家们去刷信誉,实在是没有信誉就要关门!
炒信刷钻的发展
刷钻折射出淘宝信用体系的问题
1.信用评价体系单一
仅对交易后评论,最初设计主要是为了防止网购开始时人们担心的交钱不给货的现象
2.信用计算体系简单
每一单交易评一次,每次算一分,不管交易额和类型,商家低价刷信用,高价卖商品
3.评价单方向影响太大
故意恶评影响太大
4.信用累计效果太重
后来者带来追赶成本过高,不“刷信用”难“立足”。
炒信刷钻的原理
•
•
•
•
•
•
•
•
1、 角色A:发布任务,(浪费一个发布点,发布一个任务)任务中要求写明,任务是去拍什么宝贝(会填写链接)、
宝贝的价格,商家的名称、是实物互刷还是虚拟、好评是及时确认还是几天,同时刷钻平台会扣下等额的金额作为保证
金。
2、角色B:看到任务选择后接手任务。按照任务提供的宝贝链接去拍。资金要用自己的支付宝或者网银去付(这个钱虽
然是自己的,但是放心网站一定会保证你的安全,并且钱还没到卖家手里,支付宝帮忙代管,等自己收到货后确认,才
会把钱给卖家)。拍下付款后。卖家会收到信息。同时要到平台任务流程里面,确认自己已经拍下宝贝并且付款,使任
务继续。
3、 角色A:收到被人拍下宝贝并且确认付款后,A会确认发货给B,并且在刷钻网的任务流程里面确认,确认B已经付款,
并且自己已经发货。等待B来确认任务继续
4、 角色B:当自己收到货后(肯定是显示是收货,不是真正收货),就可以把钱支付给卖家,(因为这个钱还在支付
宝里面,需要确定卖家才能收到钱)并且评价。然后回到刷钻平台任务流程里确认。
5、角色A:A收到钱后,并且看到好评后,可以回评,然后回到刷钻平台确认任务。
6、角色B:收到回评,确认任务最后一步,角色A在发布任务的时候,与任务宝贝等额的保证金,刷钻平台会自动转到B
的账户。整个流程结束。
角色A使用发布点。角色B挣得一个发布点。
虽然看到有六步。,但是分到每个人身上就只有三步,三步就能安全刷一个信誉
炒信刷钻的软件
辅助炒信的淘宝刷钻软件
1.可以自动批量购买(可以设置购买数量和匿名购买等,可以自动选择运
输方式);
2.可以合并付款,只要点击下一个按钮,就可以自动弹出网银付款界面;
3.批量自动确认收货;
4.卖家批量发货(支持实物和虚拟发货);
5.双方批量交叉互评(自定义评价内容);
6.支持换ip功能。
有了淘宝刷钻软件卖家再也不用一个一个辛苦的回评和发货了,只要点击
按钮全部一次轻松搞定。迅速提高您的信誉评价等级,急速达到皇冠。
防范技术方案概述
要能成功防范非诚信交易软件如秒杀器,我们制定了相关技术方案
首先要能正确识别不正当的请求,需要对秒杀商品建立较齐全的日志记录,
能够获取到秒杀成功的请求信息用于分析判断并给卖家反馈,也能方便
我们逐个研究秒杀软件并观察它的请求内容,由于秒杀软件是跨多个页
面的一系列操作行为,所以它相应的请求记录历史数据很重要。
其次,需要深入了解秒杀软件的原理,只有这样才能采取最有效的措施进
行阻止,仿照秒杀器实现机器下单的整个过程,掌握它跟网站交互的机
制,我们通过报文分析、服务端验证、客户端安全控件、业务手段等多
个措施全方位遏制住秒杀软件,并建立相应的数据资料监视其的升级发
展。
总共规划为3个阶段进行实施:
防范措施
第一阶段(已完成)
1、秒杀器原理分析,模仿实现市场秒杀器
2、大型秒杀下单前后的日志记录
3、虚拟脚本的日志记录
第一阶段已经模仿实现秒杀器软件,实现了机器下单的整个
过程,已基本掌握它跟网站交互的机制,并且对秒杀商
品初步建立报文请求的的日志记录,能够获取到秒杀成
功的请求信息用于分析判断并给卖家反馈,也能方便我
们逐个研究秒杀软件并观察它的请求内容。
第一阶段已可保证80%以上的秒杀合理性
防范措施
第二阶段(已完成)
1、保证商城3周年大型秒杀结果分析:制定活动非法秒杀判断依据和处罚
规章,每日反馈前日大型秒杀结果分析,保障活动公平性。
2、服务端升级:包括服务端表单参数命名调整、秒杀问题加密、https、
概率选择、动态换参等,通过服务端升级使市场上已有秒杀器失效,并
能通过我们日志系统核对报文。
3、日志体系完善,将普通秒杀纳入请求日志记录范围。
4、抄信用软件的收集和归类,整理出典型的需要重点分析的几种软件。
第二阶段在一系列防范措施和日志体系健全、并且服务端升级后实现98%
以上的秒杀合理性。
防范措施
第三阶段
1、秒杀商品数量超过1000的大日志报文数据分析系统技术方案
的建立,将人工分析升级为软件系统分析,包括自动合并日志,
根据判断依据查找问题请求,产生结果和证据存档等。
2、除交易外,采集登陆、我的淘宝、商品详情等系统的报文请
求日志,如可以查到多机登陆,多账号同地址,非法“前科”
交易历史等内容
3、虚假交易炒信用软件原理分析和借助以上日志分析系统建立
防范。
第三阶段建立自动软件分析非法请求的系统,建立起对类似原理
的爬虫软件防范体系(秒杀器、抓数据,虚假交易炒信用等)
防范成果
成功保障了一系列大型秒杀活动
1、商城3周年大型秒杀活动,首日20部iphone4秒杀结果分析,大型家电家具秒杀,
查处所有作弊者,分为严重非法、非法、怀疑非法三个类别供运营决策处理,发现
了很多垃圾小号的职业秒杀者。
2、聚划算100部iphone4大型秒杀活动,结果很严重,使用秒杀器作弊者成普遍现象,
给运营决策带来了很大压力,部分卖家拒绝发货导致买家投诉,结果分析保留了相
关证据用于处理纠纷。
3、广东卫视一元钻戒大型秒杀,通过几次技术改进,识别正确率已经接近100%,这次
活动没有发现作弊者,是最公正的一次。
给运营部门的建议:如果买家主动配合我们查处秒杀器厂商,我们可以追究这些厂
商法律责任,并对淘宝几亿消费者一个公正的宣告,保证诚信的电子商务环境,主动
坦白的买家可以这次不要求其退货。
技术架构
报文格式k/v处理
GET /auction/buy_now.jhtml?item_id_num=8343371551 HTTP/1.1
Host: buy.taobao.com
User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13
Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8
Accept-Language: zh-cn,zh;q=0.5
Accept-Encoding: deflate
Accept-Charset: GB2312,utf-8;q=0.7,*;q=0.7
Keep-Alive: 115
Connection: keep-alive
Referer
http://item.taobao.com/item.htm?id=8343371551
Cookie:
_sv_=0;_cc_=URm48syIZQ%3D%3D;uc1=lltime=1295847600&cookie14=UoMyyj1AAOa8Fw%3D%3D&e
xistShop=false&cookie16=URm48syIJ1yk0MX2J7mAAEhTuw%3D%3D&sg=42c&_yb_=false&cookie21
=V32FPkk%2Fhw%3D%3D&cookie15=V32FPkk%2Fw0dUvg%3D%3D;_wwmsg_=0%2C0;nt=UtASsssme
%2B%2BKbAcV1Xc85kTL88vnup5NzjCOwneKYnmxmrmPJ7RW3mmKsJRNeKA%3D;_nk_=mufeng004;v
=;ssllogin=;ck1=;tg=0;unb=236529372;_l_g_=Ug%3D%3D;tracknick=mufeng004;_lang=;cookie17=UUt
NhTw8gb4I;_tb_token_=;t=cae2d2934d687845a2a6a28eecc78598;cookie2=0c9026fe2cb21996efc86232
78ec0cc0;lastgetwwmsg=MTI5NTg0ODUxNQ%3D%3D;cookie1=U%2BGVls4AL5y0lKeBPEBDlMRnzpXj
HL89LlKlsCUg3FI%3D;
Content-Type: application/x-www-form-urlencoded
Content-Length: 0
报文格式k/v处理
#tblist
#tb(itemid+starttime)
rowid(sessionid+itemid+starttime)
buyer
sessionid
buyerid
rowid(itemid+s
tarttime)
sellerid
sellername
buyername
itemtitle
itemid
writetotaircount
starttime
timespent
request
buynowjhtml
request-time
client-ip
h-method
itemtitle
h-url
h-version
itemid
starttime
stock
header(...)
content(...)
vjs
….
buynowhtml ….
result
msginfo
userinfo
技术延升
尝试套用map/reduce的问题:
1、http协议报文一个请求占多行,各行之前有一定逻辑关系,不能简单
以行拆分和合并
2、复杂的中间过程的计算套用m/r不容易构思,如大数据的组合,多机
计算并不只有拆分合并的需求(举例)
3、hadoop实现的太复杂,api枯燥难懂,不利于程序员迅速上手并有
驾驭感
4、m/r容易将逻辑思维框住,业务逻辑不连贯,容易让程序员使用过程
中总是花大量时间去搞懂框架本身的实现
5、在一台机器上未能很直接看出并行计算优势
6、没有一个简单易用的window版,需要模仿linux环境,安装配置复
杂
技术延升
抽取一个简化的并行计算框架用于业务场景需要:
1、对并行计算map/reduce和forkjoin等思想的对比和研究。
2、定位在侧重小型灵活的对业务逻辑进行并行编程的框架,基
于该框架可以简单迅速建立并行的处理方式,较大程度提高
计算效率,可以在本地使用,也可以在多机使用,使用公共
内存和脚本语言配置,能嵌入式使用。
3、它可以并行高效进行大数据和逻辑复杂的运算,并对外提供
调用服务,所有的业务逻辑由业务开发方提供,未来并行计
算平台上可以高效支持秒杀器作弊分析、炒信软件分析、评
价数据分析、帐务结算系统等业务逻辑运算
提问/交流
Thank You