简单部署一个Otel

Golang OpenTelemetry

背景概述

随着云原生架构的应用逐渐推广，分布式系统规模和复杂性不断增加，对系统的可观测性要求也日益提升。传统的监控工具在处理分布式链路追踪时，往往难以契合高复杂度的需求，而 OpenTelemetry (OTel) 作为一体化的工具集，能够在分布式系统中提供统一的链路追踪、指标采集和日志记录解决方案。

OpenTelemetry 是一个开源项目，专注于统一分布式追踪（tracing）、指标（metrics）和日志（logging）。本文将详细介绍如何在生产环境部署 OpenTelemetry，构建现代化的可观测性平台。

1. OpenTelemetry 核心组件

OpenTelemetry 的架构由以下核心组件组成：

1.1 Instrumentation（数据采集）

Instrumentation 是采集监控数据的过程。它通过 SDK、自动化工具或注解在应用程序中插入代码，用来记录链路追踪信息或指标数据。

支持：

自动化采集：如为 HTTP 客户端、SQL 查询等常用库提供自动追踪。
自定义采集：开发者可以手动添加追踪代码。

1.2 OpenTelemetry Collector

Collector 是 OpenTelemetry 的核心组件，负责接收、处理和导出追踪数据、指标和日志。

接收数据：Collector 可以接收 OpenTelemetry SDK 数据或其他外部系统数据（如 Jaeger、Zipkin）。
转换与处理数据：支持数据过滤、采样和聚合。
数据导出：将数据导出到后端服务（如 Jaeger、Prometheus 或数据库）。

Collector 的本质是一个中间层，可以承担数据的归一化和路由任务。

1.3 后端（目标服务）

后端是用于存储或展示采集到的数据的系统，包括：

链路追踪后端：Jaeger、Zipkin、Elastic APM、Datadog。
监控后端：Prometheus、Grafana。
日志系统：Elasticsearch、Fluentd。

2. 部署前的准备

部署 OpenTelemetry 需要准备三部分：

应用程序改造：

在应用程序中嵌入 OpenTelemetry SDK 或为支持的语言启用自动化采集（Instrumentation）。

选择 Collector 部署方案：

本地运行
容器化部署（Docker/Kubernetes）
云服务（如 AWS OpenTelemetry）。

配置后端服务：

根据追踪类型选择目标后端，比如 Jaeger、Prometheus 或 Datadog。

3. OpenTelemetry 部署方案

以下是 OpenTelemetry 的典型部署流程。

3.1 在应用中集成 OpenTelemetry SDK

应用程序必须编写或改造代码以生成监控数据（追踪、指标和日志），SDK 提供的 API 可以轻松完成这项任务。

语言支持

OpenTelemetry 支持多种开发语言，包括：Go、Python、Java、Node.js 等。

以 Golang 为例，集成如下：

安装依赖：

go get go.opentelemetry.io/otel
go get go.opentelemetry.io/otel/exporters/jaeger
go get go.opentelemetry.io/otel/sdk/trace

初始化 Tracer Provider：

package main

import (
    "context"
    "go.opentelemetry.io/otel"
    "go.opentelemetry.io/otel/exporters/jaeger"
    sdktrace "go.opentelemetry.io/otel/sdk/trace"
)

func initTracer() (*sdktrace.TracerProvider, error) {
    exporter, err := jaeger.New(
        jaeger.WithCollectorEndpoint(jaeger.WithEndpoint("http://localhost:14268/api/traces")),
    )
    if err != nil {
        return nil, err
    }

    tp := sdktrace.NewTracerProvider(sdktrace.WithBatcher(exporter))
    otel.SetTracerProvider(tp)

    return tp, nil
}

func main() {
    tp, err := initTracer()
    if err != nil {
        panic(err)
    }
    defer func() { _ = tp.Shutdown(context.Background()) }()

    tracer := otel.Tracer("example")
    ctx, span := tracer.Start(context.Background(), "main-operation")
    defer span.End()

    // 应用业务逻辑
}

数据格式：

生成的 main-operation Span 会被传递给 Jaeger 收集并展示。

3.2 部署 OpenTelemetry Collector

Collector 是 OpenTelemetry 的数据处理节点，支持多种部署模式：单机部署或集群化部署。

单机部署（Docker）

最简单的部署方式是直接运行 OpenTelemetry Collector 的 Docker 镜像。

拉取官方镜像：

docker pull otel/opentelemetry-collector:latest

创建配置文件 collector-config.yaml：

receivers:
  otlp:
    protocols:
      grpc:
      http:

exporters:
  jaeger:
    endpoint: "http://localhost:14268/api/traces"

processors:
  batch:

service:
  pipelines:
    traces:
      receivers: [otlp]
      processors: [batch]
      exporters: [jaeger]

该配置文件定义了：

接收来自应用程序的 OLTP 数据（支持 HTTP 和 gRPC）。
将处理后的追踪数据导出到 Jaeger。

启动 Collector：

docker run --rm -p 4317:4317 -p 4318:4318 \
    -v "$(pwd)/collector-config.yaml:/etc/otel/config.yaml" \
    otel/opentelemetry-collector:latest --config=/etc/otel/config.yaml

验证：

应用程序发送的 Trace 数据将被成功处理并导出到目标 Jaeger。

集群化部署（Kubernetes）

在生产环境下，我们通常会选择用 Kubernetes 管理 OpenTelemetry Collector 的实例。

创建 Kubernetes 部署文件 otel-collector.yaml：

apiVersion: apps/v1
kind: Deployment
metadata:
  name: otel-collector
spec:
  replicas: 2
  selector:
    matchLabels:
      app: otel-collector
  template:
    metadata:
      labels:
        app: otel-collector
    spec:
      containers:
      - name: otel-collector
        image: otel/opentelemetry-collector:latest
        ports:
        - containerPort: 4317
        - containerPort: 4318
        volumeMounts:
        - name: config-volume
          mountPath: /etc/otel/config.yaml
          subPath: config.yaml
        args:
        - "--config=/etc/otel/config.yaml"
        resources:
          limits:
            memory: "256Mi"
            cpu: "500m"
      volumes:
        - name: config-volume
          configMap:
            name: otel-collector-config

创建 ConfigMap 提供 Collector 配置：

apiVersion: v1
kind: ConfigMap
metadata:
  name: otel-collector-config
data:
  config.yaml: |
    receivers:
      otlp:
        protocols:
          grpc:
          http:
    exporters:
      jaeger:
        endpoint: "http://jaeger-service:14268/api/traces"
    processors:
      batch:
    service:
      pipelines:
        traces:
          receivers: [otlp]
          processors: [batch]
          exporters: [jaeger]

部署到 Kubernetes：

kubectl apply -f otel-collector.yaml

3.3 配置后端服务

使用 Jaeger

Jaeger 是 OpenTelemetry 最常用的后端之一，可以本地运行或容器化部署：

docker run -d -p 16686:16686 -p 14268:14268 jaegertracing/all-in-one:1.36

访问 Jaeger UI：http://localhost:16686，查看链路追踪数据。

4. 完整架构展示

以下为典型 OpenTelemetry 部署架构：

Application (Instrumentation with SDK) →
OpenTelemetry Collector →
Jaeger/Prometheus/Zipkin

5. 常见问题与优化建议

5.1 数据采样优化

在高负载场景下，追踪所有请求可能导致性能问题。OpenTelemetry SDK 和 Collector 支持数据采样：

头部采样（Parent-based Sampler）：只对某些关键请求创建 Trace。
概率采样（Probability Sampler）：随机丢弃一部分数据。

5.2 Collector 的水平扩展

如果 Collector 节点超载，可以使用 Kubernetes 自动扩展能力来保证高可用性。

5.3 多目标支持

OpenTelemetry Collector 支持同时导出数据到多个后端（如 Jaeger 和 Prometheus），通过配置文件 exporters 和 pipelines 定义多后端扩展。

6. 总结

OpenTelemetry 是构建现代化分布式系统的重要工具之一，为开发者提供了统一的 API 和高度可扩展的架构，使可观测性更高效、更精确。在生产环境，通过 SDK、OpenTelemetry Collector 和后端服务的协作，可以轻松实现全面的分布式追踪和监控。

部署完成后，借助 Jaeger、Grafana 等工具，企业可以全方位洞察系统行为，快速定位问题，优化性能，从而保障系统的稳定性和用户体验。

如果觉得文章对你有用，请随意赞赏

OpenTelemetry Golang

简单部署一个Otel

https://www.ztong-techhub.com/archives/JJmnz5ZE

作者

张同

发布于

2025-04-13

更新于

2025-04-21

许可协议

CC BY 4.0

简单部署一个Otel

背景概述

1. OpenTelemetry 核心组件

1.1 Instrumentation（数据采集）

1.2 OpenTelemetry Collector

1.3 后端（目标服务）

2. 部署前的准备

3. OpenTelemetry 部署方案

3.1 在应用中集成 OpenTelemetry SDK

语言支持

3.2 部署 OpenTelemetry Collector

单机部署（Docker）

集群化部署（Kubernetes）

3.3 配置后端服务

使用 Jaeger

4. 完整架构展示

5. 常见问题与优化建议

5.1 数据采样优化

5.2 Collector 的水平扩展

5.3 多目标支持

6. 总结

作者

发布于

更新于

许可协议

评论