什么是日志，有什么用处？

客户提问：

什么是日志，有什么用处？

阿里云技术回复：

提到日志，很多人的第一印象就是系统打到本地的Log文件，出问题的时候看一下这个Log文件，用来排查问题。更进一步可以根据这个Log文件做实时的监控、第三方审计、入侵检测、行为分析、数据大盘制作等等。

马老师说过：阿里巴巴不是零售，我们是一家数据公司，为了数据才做电商、做物流、卖东西。我们认为日志是记录世间人和物所有行为的一种方式，是数据中极其重要又极其庞大的一个组成部分。会产生日志的设备有：服务器、交换机、手机、传感器、IOT设备、智能设备...产生的日志类型有：网络的七层日志、OS日志、订单日志、支持日志、GPS定位日志、用户点击日志...产生的日志形式有：文本文件、二进制文件、syslog、udp日志...如何充分利用这些日志资源才是我们的核心技术和竞争力。

什么是日志采集

数据的价值是什么？数据的价值在于把数据变成行动。这里一个非常重要的过程是数据分析。提到数据分析，大部分人首先想到的都是Hadoop、流计算、机器学习等数据加工的方式。如果从整个过程来看，数据分析其实包含了4个过程：采集，存储，计算和理解四个主要步骤：

采集：从各种产生数据的源头，将数据集中到存储系统。包括硬盘上的历史数据、用户网页的点击、传感器等等。

存储：以各种适合计算的模式集中式存储数据，其中既包含大规模的存储系统（例如数仓），也有例如临时的存储（例如Kafka类消息中间件）。

计算：形态多种多样，但大部分计算完成后会将结果再放入存储，而这个过程也可能迭代多次。

理解：利用机器学习、可视化、通知等手段提炼出结论性或具有代表意义的数据并将结果呈现出来。

数据的采集是一门很大的范畴，从实时性上和每次传输数据规模上分，一般可以分为3类：

实时采集：例如access log、database change log等

定时任务：例如每隔5分钟从FTP或数据源去批量导出数据

线下导数据：例如邮寄硬盘、AWS Snowmobile 卡车、阿里云的闪电立方等

从数据的价值以及体量上而言，实时数据采集毫无疑问最重要的，而其中最大的部分就是日志实时采集。

为什么选择凯铧互联购买阿里云产品：北京凯铧互联科技有限公司（简称凯铧互联）由多名前阿里云资深技术专家创立,核心员工来自阿里巴巴、腾讯服务器运维团队,团队90%的成员均是超过10年具备专业运维经验的精英。作为阿里云,腾讯云,百度云,金山云,华为云重要的合作伙伴,凯铧互联专注于为企业用户提供云计算及云服务器解决方案。公司总部设在北京,并在内蒙设有办事处，服务全国各地企业，与互联网专业公司及主流服务商建立了良好合作关系。

凯铧互联始终坚持帮助企业节省成本、提高效率、创造价值的原则，力求为企业及创业型团队 提供可靠、安全、稳定的运维服务，与之共同成长。做为一家综合性方案商,为用户获得优质服务的同时,秉承"专业规划、周到服务"的服务理念,根据用户的实际情况,充分考虑各种网络资源的特点及功效,为用户量身定做一套适合于其实际应用需求的网络应用方案。帮助用户利用互联网的力量展开新的营销方式,并大大缩短了项目实施周期,获得用户的一致好评！