寄生淘宝的反诚信软件防范 千峰(彭渊) 提纲 • 非诚信软件概览与背景 • 秒杀器演示和原理 • 刷钻原理 • 防范措施 • 防范成果 • 技术架构 • 技术延升 非诚信软件的定位和防范 • 淘宝巨大的c2c,b2c交易量和影响力,产生了秒杀 器、刷钻软件、代拍器、爬虫等非诚信软件(秒杀、 刷钻平台)泛滥,寄生淘宝牟取暴利。需要对市场 上利用淘宝交易系统进行非诚信活动的秒杀器、虚 假交易炒信用、爬虫的工具软件进行研究和防范。 研究包括对该类软件的技术原理研究,防范包括请 求识别并建立相应防范体系。 秒杀器的发展 网上商品秒杀活动经过淘宝策划和发展,目前 已经成为知名度很高,市场效应很火爆的网络 促销方式,但是目前遭受到市场上一些不正当 的秒杀软件的干扰破坏,已经严重影响到秒杀 活动的公正性,消费者失去参与信心和兴趣, 在社会上对淘宝造成负面影响,为了保护秒杀 业务能继续成功的发展下去,有必要采取一系 列措施从各个方面进行防范。 秒杀器的发展 2009年9月联想、飞利浦、惠普等名牌产品,在淘宝商城共同推出“1元秒杀” 活动。每天20时上架20件不同的商品,包括液晶电视机、笔记本电脑等,全部以1 元价格销售,秒杀活动结束后淘宝网统计发现,此次秒杀促销活动共有18亿人次参加, 平均每天参加秒杀活动的人数达到3亿。 • 没有秒杀器 只能去抬轿 • 2010年12月10日,网友“蔺先生”投诉国内某大型电器商城组织的“秒杀”活动, 称网页显示“秒杀”成功的用户中有该电器商城的员工,但广大网民反映未能进入 “秒杀”页面,进入后却显示活动结束。“蔺先生”怀疑该电器商城发布虚假广告, 诱导用户访问网站及注册,骗取流量。 • 2010年11月11日,双十一大促,众多大型秒杀活动完全暴露出秒杀器泛滥的严重性, 太多顾客无法手工秒杀成功,大量秒杀器四处销售,网络秒杀器利益链秒客月入数千至 万元,淘宝交易团队被迫成立秒杀器等非诚信软件的防范小组. 秒杀器的演示和原理 • 秒杀器 -- 秒杀器是一个自动下单软件,可开启10个进程同时进行下单操作,下单的 时间间隔为0.1至10秒之间可调。它可以在1分钟之内发送上百次订购请求, 远远胜过手工下单的速度。 用户在秒杀开始前提前几秒钟启动秒杀功能,软件即不断地发送订购请求, 并且实时返回订购状态信息。秒杀器也叫“抢拍器”,当时只是针对购买衣 服的一些用户,近年多次淘宝的秒杀活动才让更多人认识了这种软件。它主 要是为了把下单的流程量降到最低,并且将该操作提前进行,在提交抢拍数 据时,会自动判读提交数据是否有效,如果无效可以瞬间再次自动提交,无 需人工介入,这个功能在抢拍器中叫做“辅助抢拍”,其速度是以毫秒为单 位计算的,从此可见人工提交速度会被远远的抛在后面。 秒杀器的演示和原理 • 秒杀器实际上是利用了淘宝交易业务系统的http请求接口,通过开发http通讯 交互软件,伪装ie浏览器的合法请求,将人工交互变成机器交互的过程,目的为 了尽可能的减少交互时间,高效完成下单。 • 模仿编写的秒杀器演示 炒信刷钻的发展 来自卖家的心声: 为什么要刷信誉·刷钻? ㈠、信誉越高,买家在选择不同卖家相同产品时,首选信用级别高的! ㈡、信誉越高,你的商品在同类商品中的排列位置就越靠前! ㈢、信誉越高,淘宝店铺就会免费为你打广告,让你参加促销活动的! ㈣、信誉越高,你的橱窗推广位置就越靠前! ㈤、信誉越高,你的店在淘宝店铺的排列位置就越靠前! ㈥、信誉越高,你的成交量、交易额便会递增,你的收入也就越来越高! 炒信刷钻的发展 刷钻,卖家不得不做的 信誉不到钻的卖家竞争力低下:随着越来越多的人拥入网络创业的行业 里,市场竞争也越来越残酷,而淘宝又是以信誉从高到低来排列商品的。 这样势必造成一种恶性循环--信誉高的越来越高生意越来越好,而没 有信誉的卖家根本没有露脸的机会!生意越来越惨淡,最后退出市场。 而后入的商家要先在激烈的网购市场里争得一份羹,必选择刷信誉。这 是进入这个行业的敲门砖。 市场越来越浮燥,没有信誉的商家更是被的入十八层地狱,永无出头之日。 不能怪卖家们去刷信誉,实在是没有信誉就要关门! 炒信刷钻的发展 刷钻折射出淘宝信用体系的问题 1.信用评价体系单一 仅对交易后评论,最初设计主要是为了防止网购开始时人们担心的交钱不给货的现象 2.信用计算体系简单 每一单交易评一次,每次算一分,不管交易额和类型,商家低价刷信用,高价卖商品 3.评价单方向影响太大 故意恶评影响太大 4.信用累计效果太重 后来者带来追赶成本过高,不“刷信用”难“立足”。 炒信刷钻的原理 • • • • • • • • 1、 角色A:发布任务,(浪费一个发布点,发布一个任务)任务中要求写明,任务是去拍什么宝贝(会填写链接)、 宝贝的价格,商家的名称、是实物互刷还是虚拟、好评是及时确认还是几天,同时刷钻平台会扣下等额的金额作为保证 金。 2、角色B:看到任务选择后接手任务。按照任务提供的宝贝链接去拍。资金要用自己的支付宝或者网银去付(这个钱虽 然是自己的,但是放心网站一定会保证你的安全,并且钱还没到卖家手里,支付宝帮忙代管,等自己收到货后确认,才 会把钱给卖家)。拍下付款后。卖家会收到信息。同时要到平台任务流程里面,确认自己已经拍下宝贝并且付款,使任 务继续。 3、 角色A:收到被人拍下宝贝并且确认付款后,A会确认发货给B,并且在刷钻网的任务流程里面确认,确认B已经付款, 并且自己已经发货。等待B来确认任务继续 4、 角色B:当自己收到货后(肯定是显示是收货,不是真正收货),就可以把钱支付给卖家,(因为这个钱还在支付 宝里面,需要确定卖家才能收到钱)并且评价。然后回到刷钻平台任务流程里确认。 5、角色A:A收到钱后,并且看到好评后,可以回评,然后回到刷钻平台确认任务。 6、角色B:收到回评,确认任务最后一步,角色A在发布任务的时候,与任务宝贝等额的保证金,刷钻平台会自动转到B 的账户。整个流程结束。 角色A使用发布点。角色B挣得一个发布点。 虽然看到有六步。,但是分到每个人身上就只有三步,三步就能安全刷一个信誉 炒信刷钻的软件 辅助炒信的淘宝刷钻软件 1.可以自动批量购买(可以设置购买数量和匿名购买等,可以自动选择运 输方式); 2.可以合并付款,只要点击下一个按钮,就可以自动弹出网银付款界面; 3.批量自动确认收货; 4.卖家批量发货(支持实物和虚拟发货); 5.双方批量交叉互评(自定义评价内容); 6.支持换ip功能。 有了淘宝刷钻软件卖家再也不用一个一个辛苦的回评和发货了,只要点击 按钮全部一次轻松搞定。迅速提高您的信誉评价等级,急速达到皇冠。 防范技术方案概述 要能成功防范非诚信交易软件如秒杀器,我们制定了相关技术方案 首先要能正确识别不正当的请求,需要对秒杀商品建立较齐全的日志记录, 能够获取到秒杀成功的请求信息用于分析判断并给卖家反馈,也能方便 我们逐个研究秒杀软件并观察它的请求内容,由于秒杀软件是跨多个页 面的一系列操作行为,所以它相应的请求记录历史数据很重要。 其次,需要深入了解秒杀软件的原理,只有这样才能采取最有效的措施进 行阻止,仿照秒杀器实现机器下单的整个过程,掌握它跟网站交互的机 制,我们通过报文分析、服务端验证、客户端安全控件、业务手段等多 个措施全方位遏制住秒杀软件,并建立相应的数据资料监视其的升级发 展。 总共规划为3个阶段进行实施: 防范措施 第一阶段(已完成) 1、秒杀器原理分析,模仿实现市场秒杀器 2、大型秒杀下单前后的日志记录 3、虚拟脚本的日志记录 第一阶段已经模仿实现秒杀器软件,实现了机器下单的整个 过程,已基本掌握它跟网站交互的机制,并且对秒杀商 品初步建立报文请求的的日志记录,能够获取到秒杀成 功的请求信息用于分析判断并给卖家反馈,也能方便我 们逐个研究秒杀软件并观察它的请求内容。 第一阶段已可保证80%以上的秒杀合理性 防范措施 第二阶段(已完成) 1、保证商城3周年大型秒杀结果分析:制定活动非法秒杀判断依据和处罚 规章,每日反馈前日大型秒杀结果分析,保障活动公平性。 2、服务端升级:包括服务端表单参数命名调整、秒杀问题加密、https、 概率选择、动态换参等,通过服务端升级使市场上已有秒杀器失效,并 能通过我们日志系统核对报文。 3、日志体系完善,将普通秒杀纳入请求日志记录范围。 4、抄信用软件的收集和归类,整理出典型的需要重点分析的几种软件。 第二阶段在一系列防范措施和日志体系健全、并且服务端升级后实现98% 以上的秒杀合理性。 防范措施 第三阶段 1、秒杀商品数量超过1000的大日志报文数据分析系统技术方案 的建立,将人工分析升级为软件系统分析,包括自动合并日志, 根据判断依据查找问题请求,产生结果和证据存档等。 2、除交易外,采集登陆、我的淘宝、商品详情等系统的报文请 求日志,如可以查到多机登陆,多账号同地址,非法“前科” 交易历史等内容 3、虚假交易炒信用软件原理分析和借助以上日志分析系统建立 防范。 第三阶段建立自动软件分析非法请求的系统,建立起对类似原理 的爬虫软件防范体系(秒杀器、抓数据,虚假交易炒信用等) 防范成果 成功保障了一系列大型秒杀活动 1、商城3周年大型秒杀活动,首日20部iphone4秒杀结果分析,大型家电家具秒杀, 查处所有作弊者,分为严重非法、非法、怀疑非法三个类别供运营决策处理,发现 了很多垃圾小号的职业秒杀者。 2、聚划算100部iphone4大型秒杀活动,结果很严重,使用秒杀器作弊者成普遍现象, 给运营决策带来了很大压力,部分卖家拒绝发货导致买家投诉,结果分析保留了相 关证据用于处理纠纷。 3、广东卫视一元钻戒大型秒杀,通过几次技术改进,识别正确率已经接近100%,这次 活动没有发现作弊者,是最公正的一次。 给运营部门的建议:如果买家主动配合我们查处秒杀器厂商,我们可以追究这些厂 商法律责任,并对淘宝几亿消费者一个公正的宣告,保证诚信的电子商务环境,主动 坦白的买家可以这次不要求其退货。 技术架构 报文格式k/v处理 GET /auction/buy_now.jhtml?item_id_num=8343371551 HTTP/1.1 Host: buy.taobao.com User-Agent: Mozilla/5.0 (Windows; U; Windows NT 6.1; zh-CN; rv:1.9.2.13) Gecko/20101203 Firefox/3.6.13 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8 Accept-Language: zh-cn,zh;q=0.5 Accept-Encoding: deflate Accept-Charset: GB2312,utf-8;q=0.7,*;q=0.7 Keep-Alive: 115 Connection: keep-alive Referer http://item.taobao.com/item.htm?id=8343371551 Cookie: _sv_=0;_cc_=URm48syIZQ%3D%3D;uc1=lltime=1295847600&cookie14=UoMyyj1AAOa8Fw%3D%3D&e xistShop=false&cookie16=URm48syIJ1yk0MX2J7mAAEhTuw%3D%3D&sg=42c&_yb_=false&cookie21 =V32FPkk%2Fhw%3D%3D&cookie15=V32FPkk%2Fw0dUvg%3D%3D;_wwmsg_=0%2C0;nt=UtASsssme %2B%2BKbAcV1Xc85kTL88vnup5NzjCOwneKYnmxmrmPJ7RW3mmKsJRNeKA%3D;_nk_=mufeng004;v =;ssllogin=;ck1=;tg=0;unb=236529372;_l_g_=Ug%3D%3D;tracknick=mufeng004;_lang=;cookie17=UUt NhTw8gb4I;_tb_token_=;t=cae2d2934d687845a2a6a28eecc78598;cookie2=0c9026fe2cb21996efc86232 78ec0cc0;lastgetwwmsg=MTI5NTg0ODUxNQ%3D%3D;cookie1=U%2BGVls4AL5y0lKeBPEBDlMRnzpXj HL89LlKlsCUg3FI%3D; Content-Type: application/x-www-form-urlencoded Content-Length: 0 报文格式k/v处理 #tblist #tb(itemid+starttime) rowid(sessionid+itemid+starttime) buyer sessionid buyerid rowid(itemid+s tarttime) sellerid sellername buyername itemtitle itemid writetotaircount starttime timespent request buynowjhtml request-time client-ip h-method itemtitle h-url h-version itemid starttime stock header(...) content(...) vjs …. buynowhtml …. result msginfo userinfo 技术延升 尝试套用map/reduce的问题: 1、http协议报文一个请求占多行,各行之前有一定逻辑关系,不能简单 以行拆分和合并 2、复杂的中间过程的计算套用m/r不容易构思,如大数据的组合,多机 计算并不只有拆分合并的需求(举例) 3、hadoop实现的太复杂,api枯燥难懂,不利于程序员迅速上手并有 驾驭感 4、m/r容易将逻辑思维框住,业务逻辑不连贯,容易让程序员使用过程 中总是花大量时间去搞懂框架本身的实现 5、在一台机器上未能很直接看出并行计算优势 6、没有一个简单易用的window版,需要模仿linux环境,安装配置复 杂 技术延升 抽取一个简化的并行计算框架用于业务场景需要: 1、对并行计算map/reduce和forkjoin等思想的对比和研究。 2、定位在侧重小型灵活的对业务逻辑进行并行编程的框架,基 于该框架可以简单迅速建立并行的处理方式,较大程度提高 计算效率,可以在本地使用,也可以在多机使用,使用公共 内存和脚本语言配置,能嵌入式使用。 3、它可以并行高效进行大数据和逻辑复杂的运算,并对外提供 调用服务,所有的业务逻辑由业务开发方提供,未来并行计 算平台上可以高效支持秒杀器作弊分析、炒信软件分析、评 价数据分析、帐务结算系统等业务逻辑运算 提问/交流 Thank You
© Copyright 2024 ExpyDoc