用户行为采集做前准备 (nginx+lua+kafka)





用户行为分析,是指在获得网站访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站的规律,并将这些规律与网络营销策略等相结合,从而发现目前网络营销活动中可能存在的问题,并为进一步修正或重新制定网络营销策略提供依据。


用户行为采集功能


查看应用接口使用频率

接口健康状态,包含响应时间、出错概率

对不健康接口发送警告信息

用户活跃度分析

用户的来源地区、来路域名和页面

用户在网站的停留时间、跳出率、回访者、新访问者、回访次数、回访相隔天数

注册用户和非注册用户,分析两者之间的浏览习惯

用户所使用的搜索引擎、关键词、关联关键词和站内关键字

用户选择什么样的入口形式(广告或者网站入口链接)更为有效

用户访问网站流程,用来分析页面结构设计是否合理

用户在页面上的网页热点图分布数据和网页覆盖图数据

用户在不同时段的访问量情况等




意义

通过对用户行为监测获得的数据进行分析,可以让企业更加详细、清楚地了解用户的行为习惯,从而找出网站、推广渠道等企业营销环境存在的问题,有助于企业发掘高转化率页面,让企业的营销更加精准、有效,提高业务转化率,从而提升企业的广告收益。



选用nginx

Nginx可以获取所有请求信息,是很有价值的LOG信息,并且对服务器响应没有任何影响,也不对业务系统有依赖,因此使用nginx做用户采集

可获取请求信息:

1.客户端(用户)IP地址。

2.访问时间。

3.访问端口。

4.响应时间。

5.请求时间。

6.用户地理位置代码(国家代码)。

7.请求的url地址(目标url地址)的host

8.请求方式(GET或者POST等)。

9.请求url地址(去除host部分)。

10.请求状态(状态码,200表示成功,404表示页面不存在,301表示永久重定向等,具体状态码可以在网上找相关文章,不再赘述)。

11.请求页面大小,默认为Bbyte)。

12.来源页面,即从哪个页面转到本页,专业名称叫做“referer”。

13.用户浏览器语言。如: "es-ES,es;q=0.8"

14.用户浏览器其他信息,浏览器版本、浏览器类型等



实现

Nginx+lua+kafka

使用nginxlua模块获取请求信息

获取到的请求信息可使用nginxlua-kafka模块发送到kafka队列中

Lua获取请求信息:

{

"body_bytes_sent":"27867",

"request_time":"0.184",

"status":"200",

"postArgs":{

},

"getArgs":{

},

"upstream_response_time":"0.179",

"host":"lua.qianxunclub.com",

"time_local":"18/Sep/2016:18:52:12 +0800",

"uri":"/bloglist",

"http_referer":"http://lua.qianxunclub.com/",

"request_uri":"/bloglist",

"remote_addr":"183.12.65.116",

"http_user_agent":"Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.80 Safari/537.36 Core/1.47.933.400 QQBrowser/9.4.9005.400"

}

使用JAVA WEB程序读取kafka数据到数据库中,并且可以做响应的分析显示



使用

1、自己的服务器可以直接在nginx中的location中加入

log_by_lua_file /usr/local/nginx/lua/log.lua;Lua模块即可

2、可以类似百度统计之类的在网页中添加一段JS,即可使用



示例图




存储工具

Elasticsearch:多用于搜索

MongoDB

Hadoop

ElasticsearchMongoDBHadoop比较说明:


上片文章有三个nosql对比 地址:http://qianxunclub.com/elasticsearch-mongodbhe-hadoopbi-jiao/











原文地址:http://qianxunclub.com/yong-hu-xing-wei-cai-ji-zuo-qian-zhun-bei-nginx-lua-kafka/
本文由 千寻啊千寻创作。可自由转载、引用,但需署名作者且注明文章出处。

上一篇 :   【中国梦想秀】我要帮我老公找个女朋友(我看了三遍,哭了十次)

下一篇 :   幸运大转盘抽奖 抽奖算法 程序实现逻辑

热门评论