用户行为采集做前准备 (nginx+lua+kafka)

用户行为分析,是指在获得网站访问量基本数据的情况下,对有关数据进行统计、分析,从中发现用户访问网站的规律,并将这些规律与网络营销策略等相结合,从而发现目前网络营销活动中可能存在的问题,并为进一步修正或重新制定网络营销策略提供依据。用户行为采集功能 查看应用接口使用频率接口健康状态,包含响应时间、出错概率对不健康接口发送警告信息用户活跃度分析用户的来源地区、来路域名和页面用户在网站的停留时间、跳出率、回访者、新访问者、回访次数、回访相隔天数注册用户和非注册用户,分析两者之间的浏览习惯用户所使用的搜索引擎、关键词、关联关键词和站内关键字用户选择什么样的入口形式(广告或者网站入口链接)更为有效用户访问网站流程,用来分析页面结构设计是否合理用户在页面上的网页热点图分布数据和网页覆盖图数据用户在不同时段的访问量情况等 意义通过对用户行为监测获得的数据进行分析,可以让企业更加详细、


使用nginx lua实现网站统计中的数据收集

数据收集原理分析简单来说,网站统计分析工具需要收集到用户浏览目标网站的行为(如打开某网页、点击某按钮、将商品加入购物车等)及行为附加数据(如某下单行为产生的订单金额等)。早期的网站统计往往只收集一种用户行为:页面的打开。而后用户在页面中的行为均无法收集。这种收集策略能满足基本的流量分析、来源分析、内容分析及访客属性等常用分析视角,但是,随着ajax技术的广泛使用及电子商务网站对于电子商务目标的统计分析的需求越来越强烈,这种传统的收集策略已经显得力不能及。后来,Google在其产品谷歌分析中创新性的引入了可定制的数据收集脚本,用户通过谷歌分析定义好的可扩展接口,只需编写少量的javascript代码就可以实现自定义事件和自定义指标的跟踪和分析。目前百度统计、搜狗分析等产品均照搬了谷歌分析的模式。其实说起来两种数据收集模式的基本原理和流程是一致的,只是后一种通过javascript收集到了更多的信息。下面看一下现在各种网站统计工具的数据收集基本原理。流程概览首先通过一幅图总体看一下数据收集的基本流程。


nginx+lua+kafka实现日志统一收集汇总

一:场景描述对于线上大流量服务或者需要上报日志的nginx服务,每天会产生大量的日志,这些日志非常有价值。可用于计数上报、用户行为分析、接口质量、性能监控等需求。但传统nginx记录日志的方式数据会散落在各自nginx上,而且大流量日志本身对磁盘也是一种冲击。 我们需要把这部分nginx日志统一收集汇总起来,收集过程和结果需要满足如下需求: 支持不同业务获取数据,如监控业务,数据分析统计业务,推荐业务等。 数据实时性 高性能保证二:技术方案得益于openresty和kafka的高性能,我们可以非常轻量高效的实现当前需求,架构如下: 方案描述: 1:线上请求打向nginx后,使用lua完成日志整理:如统一日志格式,


安装Nginx+Lua开发环境

首先我们选择使用OpenResty,其是由Nginx核心加很多第三方模块组成,其最大的亮点是默认集成了Lua开发环境,使得Nginx可以作为一个Web Server使用。借助于Nginx的事件驱动模型和非阻塞IO,可以实现高性能的Web应用程序。而且OpenResty提供了大量组件如Mysql、Redis、Memcached等等,使在Nginx上开发Web应用更方便更简单。目前在京东如实时价格、秒杀、动态服务、单品页、列表页等都在使用Nginx+Lua架构,其他公司如淘宝、去哪儿网等。安装环境安装步骤可以参考http://openresty.org/#Installation。1、创建目录/usr/


上一页
第1页/共1页
下一页

热门评论