《阿里巴巴大數(shù)據(jù)競賽介紹》由會(huì)員分享,可在線閱讀,更多相關(guān)《阿里巴巴大數(shù)據(jù)競賽介紹(16頁珍藏版)》請(qǐng)?jiān)谘b配圖網(wǎng)上搜索。
1、Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014相關(guān)介紹ALIDATA DISCOVERY阿里巴巴大數(shù)據(jù)競賽劉曉中國科學(xué)院計(jì)算技術(shù)研究所2014.3.21Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014競賽機(jī)制數(shù)據(jù)介紹評(píng)比機(jī)制Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014競賽機(jī)制阿里巴巴大數(shù)據(jù)競賽是阿里巴巴集團(tuán)主辦,在阿里巴巴大數(shù)據(jù)科研平臺(tái)“天池”上開展的,基于天貓海量真實(shí)用戶的訪問數(shù)據(jù)的推薦算法大賽。Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014競賽機(jī)制天池-大數(shù)據(jù)研究
2、平臺(tái)“平臺(tái)、金融、數(shù)據(jù)”“數(shù)據(jù)分享平臺(tái)”針對(duì)當(dāng)前學(xué)術(shù)界面臨的兩個(gè)問題,一是缺少有價(jià)值的真實(shí)的商業(yè)數(shù)據(jù);二是缺少具有強(qiáng)大功能的計(jì)算平臺(tái)支持復(fù)雜的數(shù)據(jù)處理。阿里巴巴集團(tuán)于2014年正式推出“天池”平臺(tái),“天池”平臺(tái)基于阿里集團(tuán)的海量數(shù)據(jù)離線處理服務(wù)ODPS,向?qū)W術(shù)界提供科研數(shù)據(jù)和開放數(shù)據(jù)處理服務(wù)。Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014競賽機(jī)制ODPSODPS(Open Data Processing Service)阿里云開放數(shù)據(jù)處理服務(wù),是阿里巴巴公司借助阿里云提供的大規(guī)模分布式數(shù)據(jù)處理服務(wù)。ODPS以REST API的形式,支持用戶提交類SQL的查詢語言
3、,對(duì)海量數(shù)據(jù)進(jìn)行處理。Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014競賽機(jī)制賽制安排賽制安排Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014競賽機(jī)制獎(jiǎng)項(xiàng)設(shè)置:Season 1 不設(shè)獎(jiǎng)項(xiàng),但是會(huì)從參賽隊(duì)伍中選擇較優(yōu)者進(jìn)入Season 2階段比賽 Season 2 階段獎(jiǎng)項(xiàng):一等獎(jiǎng):1支隊(duì)伍,獎(jiǎng)金貳拾萬 二等獎(jiǎng):1支隊(duì)伍,獎(jiǎng)金伍萬 三等獎(jiǎng):1支隊(duì)伍,獎(jiǎng)金貳萬(上述獎(jiǎng)項(xiàng)以決賽答辯成績的最終名次決定)月星星獎(jiǎng):每期月度榜單排名Top10的參賽隊(duì)成員都將獲得搭載云OS的手機(jī)一部(具體手機(jī)型號(hào)在公布榜單時(shí)公布)優(yōu)勝獎(jiǎng):決賽全國賽排名Top50的
4、參賽隊(duì)成員直接進(jìn)入阿里巴巴校園招聘綠色通道(即招聘流程省略簡歷篩選及筆試篩選階段,直接進(jìn)入面試階段),在校期間均有效;并將獲得阿里紀(jì)念T恤和大賽獲獎(jiǎng)證書 總決賽Top10的主要參賽隊(duì)成員可直接入圍“阿里星”計(jì)劃,參賽隊(duì)的指導(dǎo)老師(如有)將享受天池?cái)?shù)據(jù)的最高使用權(quán)限1年Season 3 線上階段獎(jiǎng)項(xiàng):Season 2 階段的優(yōu)勝者,將會(huì)受邀訪問天貓,在天貓實(shí)際開發(fā)2014年雙11線上算法,并有機(jī)會(huì)贏取100萬大獎(jiǎng)(組委會(huì)將在Season 2結(jié)束后公布細(xì)則)Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014數(shù)據(jù)介紹賽題介紹本賽題適用于season1 和season 2的
5、比賽,season 3 為線上賽(season 2 賽后公布題目)。在天貓,每天都會(huì)有數(shù)千萬的用戶通過品牌發(fā)現(xiàn)自己喜歡的商品,品牌是聯(lián)接消費(fèi)者與商品最重要的紐帶。本屆賽題的任務(wù)就是根據(jù)用戶4個(gè)月在天貓的行為日志,建立用戶的品牌偏好,并預(yù)測他們?cè)趯硪粋€(gè)月內(nèi)對(duì)品牌下商品的購買行為。Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014數(shù)據(jù)介紹數(shù)據(jù)介紹天貓?zhí)峁┝?84位用戶對(duì)于9531種商品的操作類型,共提供了182881條記錄。用戶對(duì)任意商品的行為都會(huì)映射為一行數(shù)據(jù)。其中所有商品ID都已匯總為商品對(duì)應(yīng)的品牌ID。用戶和品牌都分別做了一定程度的數(shù)據(jù)抽樣,且數(shù)字ID都做了加密
6、。所有行為的時(shí)間都精確到天級(jí)別(隱藏年份)。Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014數(shù)據(jù)介紹數(shù)據(jù)介紹天貓?zhí)峁┝?84位用戶對(duì)于9531種商品的操作類型,共提供了182881條記錄。用戶對(duì)任意商品的行為都會(huì)映射為一行數(shù)據(jù)。其中所有商品ID都已匯總為商品對(duì)應(yīng)的品牌ID。用戶和品牌都分別做了一定程度的數(shù)據(jù)抽樣,且數(shù)字ID都做了加密。所有行為的時(shí)間都精確到天級(jí)別(隱藏年份)。Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014數(shù)據(jù)介紹數(shù)據(jù)介紹天貓?zhí)峁┝?84位用戶對(duì)于9531種商品的操作類型,共提供了182881條記錄。t_alibaba
7、_data.csvXiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014數(shù)據(jù)介紹Season 1賽季數(shù)據(jù)1)數(shù)據(jù)說明:用戶4種行為類型(Type)對(duì)應(yīng)代碼分別為:點(diǎn)擊:0;購買:1;收藏:2;購物車:3 2)提交評(píng)分方式:參賽者將預(yù)測的用戶存入文本文件中,格式如下:user_id t brand_id,brand_id,brand_id n 上傳的結(jié)果文件名字不限(20字以內(nèi)),文件必須為txt格式。如圖:將預(yù)測結(jié)果文件上傳至大賽官網(wǎng)結(jié)果提交入口即可。(提交結(jié)果入口在參賽者的個(gè)人中心)Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014數(shù)據(jù)介紹
8、Season 2賽季數(shù)據(jù)1)數(shù)據(jù)獲取方式:參賽者只能登陸阿里巴巴天池集群獲取數(shù)據(jù),且數(shù)據(jù)不能下載,所有數(shù)據(jù)分析,計(jì)算,提交評(píng)分都將在天池集群上完成。2)數(shù)據(jù)說明:提供的數(shù)據(jù)量,涉及千萬級(jí)天貓用戶,萬級(jí)天貓品牌,時(shí)間跨度4個(gè)月的行為記錄。Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014評(píng)比機(jī)制評(píng)比機(jī)制準(zhǔn)確率與召回率準(zhǔn)確率:注:N 為參賽隊(duì)預(yù)測的用戶數(shù) pBrandsi為對(duì)用戶i 預(yù)測他(她)會(huì)購買的品牌列表個(gè)數(shù) hitBrandsi對(duì)用戶i預(yù)測的品牌列表與用戶i真實(shí)購買的品牌交集的個(gè)數(shù) Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014評(píng)比機(jī)制評(píng)比機(jī)制準(zhǔn)確率與召回率最后我們用F1-Score 來擬合準(zhǔn)確率與召回率,并且大賽最終的比賽成績排名以F1得分為準(zhǔn)。Xiao Liu (VISPER)阿里巴巴大數(shù)據(jù)競賽March 21,2014排行榜現(xiàn)階段排名