来自 数据库 2020-02-02 00:01 的文章
当前位置: 澳门三合彩票 > 数据库 > 正文

擅长洗濯数据的第三方数据产业,爬虫数据是校

大数据行业在今年秋季遭遇了一次前所未有的严厉整顿。也许,这是数据行业面临的最大生死劫:有人死,也有人生

此前,有报道指出,第三方金融科技、数据服务、风控服务机构将服务重心从新金融领域逐渐转向银行机构成了最近一年来的明显趋势,比较大动作的数头部平台同盾科技。

《科创板日报》(成都,记者 柴刚)讯,互联网贷款有多“香”?来看一份名单:BATJ、TMD、微博、360、小米、携程、YY……中国互联网新老巨头,不管是做搜索、电商、社交,还是做酒店、手机、O2O的,无不涉足贷款业务。行业统计数据显示,目前仍有700多家网贷平台在营,这一数据在2016年高峰期曾达2600多家。不过,随着近期多家头部数据公司相继被查,爬虫服务“断供”,贷款行业出现产品“下架潮”。分析人士称,接下来,摆在贷款平台面前的只有两条路:要么自建爬虫系统,要么甄别风险,选择“安全性”高的队友。但无论走哪条路,都意味着更高的经营成本、风控要求和更小的利润空间。而一些高利率的小平台,则因无力自建爬虫系统,也没有第三方数据公司敢跟它合作,自然被淘汰出局。如此看来,本次数据行业整治,客观上将加速整个贷款行业的优胜劣汰,尽早结束这个“高利贷”、“野蛮增长”、“暴力催收”等标签环绕的“暴力”时代。贷款产品大面积下架9月以来,魔蝎科技、新颜科技、公信宝、天翼征信等多家数据公司被警方调查或要求协助调查,矛头均指向爬虫业务。“我觉得这次数据爬虫公司被查的风波还没完。前两天官方发布的数据显示,截至9月初,公安机关共侦办‘套路贷’团伙案件1890起,抓获犯罪嫌疑人18651人。这么多案件,这么多人,才只牵扯五六家公司吗?等这么多‘套路贷’全部结案了,这一轮调查风波才能说告一段落。”接受《科创板日报》记者采访的某数据公司CEO称。所谓爬虫,是指平台按照一定规则,自动从互联网上提取网络信息的程序或脚本。“比如你在申请贷款的时候,会被要求提供账号密码。爬虫公司受网贷机构委托,拿到账号密码通过计算机模拟登录,抓取你的央行征信报告、电信运营商、淘宝、支付宝等信息,提供给网贷机构。爬虫服务可能贯穿于网贷平台的营销、风控、催收各环节。”上述数据公司人士介绍。由此看来,爬虫数据是网贷平台经营中的标配,如今随着多家头部数据公司被查,在砍断“套路贷”左膀右臂的同时,普通网贷机构也势必被“断供”。魔蝎科技官网资料显示,截至目前已服务2000多家客户,包括银行、网贷平台、消费金融公司等;新颜科技也宣称,合作机构超过2500家;公信宝官网信息显示,合作伙伴包括中国银联、麦子金服、现金巴士等,涵盖范围包括保险、通信运营商、网贷平台等。就在这轮数据公司调查风暴开启之时,一张网传截图显示,知名数据公司聚信立通知合作商户:为积极迎合国家日益收紧的监管政策,9月6日23时起,暂停对外提供用户授权的运营商爬虫服务。同时,据媒体报道,有盾网络科技、天机数据、葫芦数据、白骑士等也纷纷暂停爬虫服务,百融云创、鹏元征信部分服务无法使用。与此同时,有用户提供的截图显示,成都银行(601838.SH)旗下锦程消费金融的“锦易贷”、“收入贷”产品,疑因供应商停止提供运营商数据及公积金查询服务而暂停放款。据了解,受爬虫服务暂停影响,近日很多贷款超市出现产品大面积下架,有的机构下架数量超过一半,多为实际利率超过36%红线的,包括不少P2P产品,没有下架的主要是一些持牌机构的产品。而上一次出现类似情况是在今年315之后,贷款超市集中下架了“714”产品。“下游客户肯定会受影响。他们对于数据技术、数据分析的需求是显而易见的,这件事以后,他们也会更加谨慎地甄别供应商,或者自建团队。”BOSS招聘信息显示,即有分期、同程旅游金融、国美金控、紫金普惠等多家平台都在招聘爬虫相关岗位。不过自建爬虫团队的成本较高,对一些几百万规模的小平台而言,一般很难承受。实际上,一些有自己爬虫团队的头部平台,出于成本考虑,此前也会使用一部分第三方爬虫服务。百行征信不是“免死金牌”就在被抓、跑路、暴雷、清退等负面消息充斥贷款行业时,9月2日,互金风险专项整治工作领导小组、网贷风险专项整治工作领导小组联合发布的一则《通知》,让业内人士为之一振,似乎看到了政策回暖的曙光:《通知》要求各地在营的P2P网贷机构接入金融信用信息基础数据库运行机构、百行征信等征信机构。百行征信是央行批准的国内首家市场化个人征信机构,股东包括中国互金协会及腾讯征信、芝麻信用等8家征信公司。记者注意到,上述《通知》一出,有网贷平台宣传称,纳入征信是新航标,意味着网贷进入安全稳步期,未来发展充满期待。不过,前述数据公司人士很冷静,他告诉《科创板日报》记者,“纳入百行征信肯定是行业的一个利好,但纳入也并不意味着一定合规,这是两码事。纳入不纳入只是风控层面的问题。实际上,百行征信是一个开放平台,随时都可以申请接入。我接入了,但我的钱不进风控,或者一部分正常利率的接入了,另一部分产品没接入,照样违规。”其实早在上述《通知》出台3个月前,已有近50家网贷平台接入百行征信,包括人人贷、微粒贷、拍拍贷、恒信易贷、新新贷等。然而,近日有媒体报道,上海虹口经侦已受理新新贷案件;恒信易贷经过监管约谈已宣布良性退出;而拍拍贷上个月刚被媒体报道违规从事“校园贷”,近日又陷入商业行贿的舆论漩涡。可见,百行征信并非网贷平台的“护身符”。备案政策尚未明朗值得一提的是,8月底,广州市地方金融监管局发布风险提示函称,目前网络借贷平台只进行了商事登记,所有平台均未获得金融监管部门的审批或备案,至今未有一家平台完全合规通过验收。数据宝大数据研究院副院长李可顺也向《科创板日报》记者表示,“网贷公司其实没有哪家是完全合规的,没有高利贷产品、没用敏感数据建模、催收指标不高的平台,可能比较合规。很多网贷机构都是其中几个产品违规,大部分产品在合规线以上。”“合规不合规的‘规’是由谁出?”上述数据公司人士反问,现在行业还存在多头管理的问题,法律法规也亟待健全。监管政策方面,行业经历了备案登记延期、再延期、合规检查重启、备案试点方案流出等阶段,但在今年7月初,互金整治领导小组和网贷整治领导小组联合召开的网络借贷风险专项整治工作座谈会上,却只字未提“备案”,仅明确四季度将按照“成熟一家、纳入一家”的原则,将基本合格的网贷机构纳入试点。由此看来,监管政策至今尚未明朗。“备案制是眼下最合适的办法,第一不要扩大规模,先维持经营活下来。未来大概率会留下几家比较大的平台,这几家有可能是独立运营,也可能由监管介入经营,比如定期信披,对账户实际监管等。”上述数据公司人士认为,金融属于风险业务,不是说哪家放贷规模大就牛,风险控制得好才能持久,所以监管起来并没有那么简单。谈到风控,李可顺也指出,随着数据行业越来越严格,网贷平台的风控要求将随之提高,进而抬高准入门槛,只有通过合规数据源做好风控的平台才能长久经营。此前很多纯信用的小额现金贷风控简单粗暴,比如简单的黑名单策略+认证+运营商爬虫数据,只要有通讯录,风控短板靠催收来补,这显然是不正常的。

- 1 -

行业人人自危。她对《棱镜》表示。

行业人人自危。一家大数据公司创始人于建瑞在接受媒体采访时说道,最近各家大数据公司的CEO每天都在朋友圈打卡,比运动打卡还勤快,其潜台词则是我没事,我们公司也还好着呢。

一位接近监管的人士对《棱镜》表示,监管方从年初就在酝酿针对数据公司的整顿清理,应该是大动作。

此后,国内大部分数据公司都为自保而解散了爬虫部门。业内人士称,全行业裁掉了近万名爬虫工作人员,行业人员流失率在50%以上。

据《棱镜》了解,爬虫技术门槛并不高,但需要专门的团队进行维护,成本较高,对于大多数的借贷平台而言,选择以购买的方式,从第三方数据公司获得爬虫数据,反而不失为一种更为经济的方法。

目前很多涉及爬虫业务的数据公司都已经暂停或调整服务。而在大量的数据公司裁员中,爬虫部门几乎是全军覆没。大数据风控平台同盾科技是典型案例,9月份其爬虫负责人被查,爬虫部门解散并集体待岗。这些员工被建议不要离开杭州,否则有被抓的风险。

《棱镜》从接近监管部门的人士处了解到,用户地理位置、资产收入、运营商爬虫、信息修复、证照比对等数据信息,将是这次核查的重点。

澳门三合彩票,10月24日,一张截图在网上流传。据一本财经报道,截图显示,人行要求各地银行排查与第三方数据公司的合作情况,特别提到要求上报合作的第三方数据公司是否涉及爬虫业务。

714高炮是指期限在7天或14天的包含砍头息的超利贷,在今年315晚会被曝光之后,被监管部门重拳整治。而为714高炮、套路贷提供土壤的数据公司,也不可避免地受到了波及。

不仅仅数据行业本身,金融机构也被要求自查是否与爬虫公司有合作。11月6日,中国互联网金融协会向会员机构发布《关于增强个人信息保护意识依法开展业务的通知》,要求会员机构对数据合作方进行排查。公信宝、白骑士、天机数据、木立征信等多家被调查的或者有风险业务的数据公司被直接点名。

据《棱镜》了解,第三方数据公司主要依赖大数据工具,如爬虫等技术,为市场提供场景化、定制化的大数据相关产品。这些数据主要分为司法信息、电商信息、银行卡信息、运营商信息、社交信息、开放数据等几大类。在这些数据维度中,比较受互金客户欢迎的都是覆盖度高、标准化较强的通用类数据,比如身份验证、逾期黑名单信息等,一般是通过爬取淘宝、社交网络、网上银行等获取数据。

但是,数据爬虫业务中,合规的成本非常高,合作机构要使用合规的爬虫数据,要支付更高的价格。以金融领域为例,全行业合规数据来源基本可以覆盖到75%左右的需求。但通过合规途径获取数据,其成本高了大约60%。

在一家助贷平台做中层的孙丹最近准备跳槽了。她所在的公司同样涉及到大数据业务,虽然目前一切如旧,暂时没受影响,但这段时间不断传来的XX平台遭调查的消息,让她焦虑不已,最终还是下定决心辞职,远离这一曾经标榜科技与前沿的领域。

9月,摩羯科技、新颜科技、公信宝等公司相关人员相继被调查;随后,行业巨头同盾科技被传出解散整个爬虫部门;头部贷款超市平台信用管家被警方突击调查。

在风投的加持下,行业一路高歌猛进。以行业头部平台同盾科技为例,据新流财经此前报道,同盾科技2016年-2018年的营业收入分别为6066万元、2.61亿元、5.42亿元,呈几何级数增长。截至2018年底,同盾科技累计客户数量为2421家,完成了对互金行业90%以上的覆盖。

因为互金行业有惊人的吸金能力,对大数据公司也有较高的支付能力。也因为这个原因,一直以来,大数据公司的业务过分集中于金融信贷领域。

在多位行业人士的印象中,第三方数据行业从2013、2014年就开始兴起,在2017-2018年左右迎来大爆发。这也与P2P网贷和现金贷兴起至爆发的时间线基本吻合。

其实,并非所有的爬虫业务都是非法和违规的,否则也不会有部分数据公司在这轮整顿中活得更滋润。事实上,在合理的数据应用范围内,解决用户隐私保护问题的技术手段有很多,比如说数据脱敏、权限管控、加密存储等。中腾信大数据相关负责人表示。

《棱镜》获得的一份头部数据公司的报价单显示,仅信息核验服务就被细分为43个项目,包括实名验证、银行卡三要素核验、对用户消费偏好、经济能力方面的预测等等,不一而足,单次查询的价格从每项2毛钱到10块钱不等,如果包年的话另有折扣。

早两年,大数据行业因其高深、精准、实用等特质,处处显示着它是蓝海,是未来。不过真的应用起来,却一点都不是和平和爱。当它碰到野蛮生长的互金行业,甚至变得充满阴暗、罪恶甚至杀戮。这一轮被整顿的主要是数据公司的爬虫业务,而被整顿的导火索,正出在现金贷、P2P等互联网金融行业身上。

打蛇打七寸!李亮提到,大数据对于现金贷、714高炮、套路贷而言是命门,没有了数据做支撑,他们就无法放贷。

数据行业被整顿,其实是城门失火殃及池鱼。

据《棱镜》了解,目前很多涉及爬虫业务的数据公司都已经暂停或调整服务,进而引发更大的蝴蝶效应。

打蛇打七寸!李亮提到,大数据对于现金贷、714高炮、套路贷而言是命门,没有了数据做支撑,他们就无法放贷。

2017年6月1日开始实行的《网络安全法》明确提到:网络运营者收集、使用个人信息,应当遵循合法、正当、必要的原则,公开收集、使用规则,明示收集、使用信息的目的、方式和范围,并经被收集者同意;网络运营者不得收集与其提供的服务无关的个人信息;未经被收集者同意,不得向他人提供个人信息。

而作为一家第三方数据公司的副总裁,李亮则更能感受到实实在在的影响。在他看来,这次数据行业的震荡,比此前对于现金贷行业的整顿来得更严重,效果也更明显。

监管环境倒逼之下,不少数据公司已经着手转型。一家排名靠前的数据公司产品负责人对《棱镜》提到,一是客户方向转型,近一两年P2P爆雷潮与互金监管越发趋严,导致互金客户数量减少,将目光投向银行等传统金融机构是大势所趋。

第三天,整个爬虫部门从公司完全消失。花了三天时间,一个数据公司的爬虫业务就被抹除了。

责任编辑:何周重

继今年初315晚会爆出一些大数据公司窥探、交易用户数据后,这个行业的整顿就没停过。有媒体报道,不少金融机构合作的数据接口,70%都被切断了;剩下的30%也不稳定,一周换三次。

其次是业务方向转型,单纯的数据服务已不能满足市场需求,将大数据有效的结合人工智能技术,通过风控规则建模等方式,对金融机构输出评分决策等结果,向科技赋能转型。

虽然有关部门并未明示大数据行业整顿与互金行业的关系,但大数据行业里的人都心知肚明:这一轮行业整顿大概率与数据公司为714高炮平台、套路贷提供数据征信服务,非法获取和倒卖个人数据有关。

在他看来,数据行业总想自己去拿数据,这个逻辑本身就有问题,大数据公司应该提供技术服务,而不是充当数据中介。

本文由澳门三合彩票发布于数据库,转载请注明出处:擅长洗濯数据的第三方数据产业,爬虫数据是校

关键词: