日志服务

日志服务(Log Service,简称LOG/原SLS)是针对实时数据一站式服务,在经历大量大数据场景锤炼而成。提供日志类数据采集、消费、投递及查询分析功能,全面提升海量日志处理/分析能力。

产品简介

日志服务(Log Service,简称 Log)是针对日志类数据的一站式服务,在经历大量大数据场景锤炼而成。您无需开发就能快捷完成日志数据采集、消费、投递以及查询分析等功能,提升运维、运营效率,建立 DT 时代海量日志处理能力。 

核心功能如下:


实时采集与消费(LogHub)

功能: 
  • 通过ECS、容器、移动端,开源软件,JS等接入实时日志数据(例如Metric、Event、BinLog、TextLog、Click等)

  • 提供实时消费接口,与实时计算及服务对接

用途:数据清洗(ETL),流计算(Stream Compute),监控与报警, 机器学习与迭代计算。


 

投递数仓(LogShipper)

稳定可靠的日志投递。将日志中枢数据投递至存储类服务进行存储。支持压缩、自定义Partition、以及行列等各种存储方式。

用途:数据仓库 + 数据分析、审计、推荐系统与用户画像。 



查询与实时分析(Search/Analytics)

实时索引、查询分析数据数据。

  • 查询:关键词、模糊、上下文、范围

  • 统计:SQL聚合等丰富查询手段

  • 可视化:Dashboard + 报表功能

  • 对接:Grafana,JDBC/SQL92

用途:DevOps/线上运维,日志实时数据分析,安全诊断与分析,运营与客服系统。


产品架构

日志服务的架构如下图所示。



Logtail

帮助您快速收集日志的Agent。其特点如下所示: 
  • 基于日志文件、无侵入式的收集日志 

    • 只读取文件。

    • 日志文件无侵入。

  • 安全、可靠 

    • 支持文件轮转不丢失数据。

    • 支持本地缓存。

    • 网络异常重试。

  • 方便管理 

    • Web端操作。

    • 可视化配置。

  • 完善的自我保护 

    • 实时监控进程CPU、内存消耗。

    • 限制使用上限。

前端服务器

采用LVS + Nginx构建的前端机器。其特点如下所示: 
  • HTTP、REST协议

  • 水平扩展 

    • 流量上涨时可快速提高处理能力。

    • 支持增加前端机。

  • 高吞吐、低延时 

    • 纯异步处理,单个请求异常不会影响其他请求。

    • 内部采用专门针对日志的Lz4压缩,提高单机处理能力,降低网络带宽。

后端服务器

后端是分布式的进程,部署在多个机器上,完成实时对Logstore数据的持久化、索引、查询以及投递至MaxCompute。整体后端服务的特点如下所示: 
  • 数据高安全性 : 

    • 您写入的每条日志,都会被保存3份。

    • 任意磁盘损坏、机器宕机情况下,数据自动复制修复。

  • 稳定服务: 

    • 进程崩溃和机器宕机时,Logstore会自动迁移。

    • 自动负载均衡,确保无单机热点。

    • 严格的Quota限制,防止单个用户行为异常对其他用户产生影响。

  • 水平扩展: 

    • 以分区(Shard)为单位进行水平扩展。

    • 用户可以按需动态增加分区来增加吞吐量。