2012年3月9日星期五

KDD Cup 2012数据集一瞥

官网网址

https://www.kddcup2012.org/c/kddcup2012-track2/

训练集

字段名​

含义​

Click

点击次数​(Metric)


Impression

呈现次数​(Metric)

LandingURL

目标网址​

广告的静态属性​,被散列过​

AdID

(Key)

AdvertiserID

​广告主

广告的静态属性​

Depth

一次搜索呈现的广告个数​

上下文信息​

Position

从上往下数第几个广告​

上下文信息

QueryID

搜索内容(Key)​

引用queryid_tokensid.txt

KeywordID

​购买关键词

广告的静态属性,引用purchasedkeyword_tokensid.txt

TitleID

​小标题

​广告的静态属性,引用

titleid_tokensid.txt

DescriptionID

长描述

广告的静态属性,引用

descriptionid_tokensid.txt

UserID 

谁在看(Key)

引用userid_profile.txt


​花了一晚上下载了2G的数据文件,解压缩后11G

随便截一屏数据

0 1 9279176529507935999 10810874 23649 1 1 1647439 373861 816959 727055 766180

0 1 16794704970244289131 5059558 26286 2 1 549 1934 526 874 766180

1 1 16794704970244289131 5059558 26286 3 2 549 1934 5240 6680 766180

0 1 14600073692226414252 20665843 4004 1 1 315 929 603 2820 766180

0 1 749131116303089246 4211484 19225 2 2 14740491 34718 46130 42358 766180

0 1 1335936110380385740 21381384 33847 2 1 91762 12501 30608 834 766180

0 1 13438413709324680452 20493531 24039 3 1 549 1934 37897 109389 766180

0 1 14600073692226414252 20666004 4004 2 2 91762 58954 5473 4856 766180

0 1 9459177555597690804 8674771 5466 3 2 8378021 150 1378 2741 766180

0 1 14340390157469404125 20640025 23808 2 1 14740491 1901 4426 4790 766180

0 1 7771884441258274609 20447819 32367 2 1 17558 28467 429086 412769 766180

0 1 15234713295054011248 3500007 23964 3 3 8378021 805 1148 1442 766180

0 1 14531867648059391627 21775716 27482 1 1 20617043 542 424 6 766180

0 1 13438413709324680452 20493531 24039 2 2 549 1934 37897 82604 766180

0 1 9459177555597690804 21163057 5466 2 2 17558 28467 179200 172693 766180

0 1 14531867648059391627 21775716 27482 1 1 306 542 424 6 766180

0 1 14340390157469404125 9027437 23808 1 1 320 300 20 20 2331238

0 1 7903914528320191889 21162350 1325 1 1 2478 168 320 932 2331238

0 1 7903914528320191889 21162350 1325 1 1 2478 168 318 925 2331238

0 2 8311784166645421100 21202612 33709 1 1 157 584 731 1022 2331238

0 1 14340390157469404125 6434981 23777 1 1 99562 175 132 190 2331238

0 1 14340390157469404125 9027437 23808 1 1 374 19 20 20 2331238

0 1 1053683433578625187 20363507 1340 1 1 5297 4035 33 13316 2331238

一些统计信息

记录数:150M

用户数:22M

查询数:24M

广告数:0.6M

平均点击数:0.0549163

平均呈现数:1.57434


扫下来十多分钟,在家里的iMac上,awk竟然把内存吃光了,逼我买Xcode写C么

ytwang$ time awk -f general.awk training.txt 

n_row 149639105

n_user 22023547

n_query 24122076

n_ad 641707

avg_click 0.0549163

avg_imp 1.57434

avg_CTR 0.0348821


real 11m24.352s

user 10m25.042s

sys 0m16.313s

ytwang$ cat general.awk 

{

        ++n_row

        ++users[$12]

        ++querys[$8]

        ++ads[$4]

        sum_click+=$1

        sum_imp+=$2

}

END{

        print "n_row", n_row

        print "n_user", length(users)

        print "n_query", length(querys)

        print "n_ad", length(ads)

        print "avg_click", sum_click/n_row

        print "avg_imp", sum_imp/n_row

        print "avg_CTR", sum_click/sum_imp

}


发现,用户很多,但平均每个用户的查询不多,基本1:1,说明用户的多样性和查询的多样性接近。

广告很少,看来soso广告卖的比较谨慎,或者不怎么有人愿意买。我上去搜了几个关键词,都没有广告出来,好不容易出来一个,还是一个叫做"腾讯搜索推广"的house ad,晕。





没有评论: