Home >Documents >Amazon Managed Streaming para Apache Kafka - Guía para ...€¦ · Amazon Managed Streaming para...

Amazon Managed Streaming para Apache Kafka - Guía para ...€¦ · Amazon Managed Streaming para...

Date post:24-Jul-2020
Category:
View:7 times
Download:0 times
Share this document with a friend
Transcript:
  • Amazon ManagedStreaming for Apache Kafka

    Guía para desarrolladores

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Amazon Managed Streaming for Apache Kafka: Guía para desarrolladoresCopyright © 2020 Amazon Web Services, Inc. and/or its affiliates. All rights reserved.

    Amazon's trademarks and trade dress may not be used in connection with any product or service that is not Amazon's,in any manner that is likely to cause confusion among customers, or in any manner that disparages or discreditsAmazon. All other trademarks not owned by Amazon are the property of their respective owners, who may or may notbe affiliated with, connected to, or sponsored by Amazon.

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Table of Contents¿Qué es Amazon MSK? ...................................................................................................................... 1Configuración ..................................................................................................................................... 3

    Inscripción en AWS .................................................................................................................... 3Descargar bibliotecas y herramientas ............................................................................................ 3

    Introducción ....................................................................................................................................... 4Paso 1. Creación de una VPC ..................................................................................................... 4Paso 2. Activar alta disponibilidad y tolerancia a fallos ..................................................................... 7Paso 3. Crear un clúster ............................................................................................................. 8Paso 4. Crear una máquina cliente ............................................................................................. 10Paso 5. Creación de un tema ..................................................................................................... 11Paso 6. Producir y consumir datos .............................................................................................. 12Paso 7. Visualización de las métricas .......................................................................................... 13Paso 8. Eliminar el clúster ......................................................................................................... 14

    : cómo funciona ................................................................................................................................ 15Creación de un clúster .............................................................................................................. 15

    Tipos de instancia del agente ............................................................................................. 15Creación de un clúster mediante la Consola de administración de AWS ..................................... 16Creación de un clúster mediante la AWS CLI ........................................................................ 17Creación de un clúster con una configuración MSK personalizada mediante el comando AWSCLI ................................................................................................................................. 18Creación de un clúster mediante la API ............................................................................... 18

    Eliminación de un clúster ........................................................................................................... 19Eliminación de un clúster mediante la Consola de administración de AWS ................................. 19Eliminación de un clúster mediante la AWS CLI .................................................................... 19Eliminación de un clúster mediante la API ............................................................................ 19

    Obtención de la cadena de conexión Apache ZooKeeper ................................................................ 19Obtención de la cadena de conexión Apache ZooKeeper mediante la Consola de administraciónde AWS .......................................................................................................................... 19Obtención de la cadena de conexión Apache ZooKeeper mediante la AWS CLI .......................... 19Obtención de la cadena de conexión Apache ZooKeeper mediante la API .................................. 20

    Obtención de los agentes de arranque ......................................................................................... 21Obtención de los agentes de arranque mediante la Consola de administración de AWS ................ 21Obtención de los agentes de arranque mediante la AWS CLI .................................................. 21Obtención de los agentes de arranque mediante la API .......................................................... 21

    Listado de clústeres de .............................................................................................................. 21Listado de clústeres mediante la Consola de administración de AWS ........................................ 21Listado de clústeres mediante la AWS CLI ........................................................................... 22Listado de clústeres mediante la API ................................................................................... 22

    Ampliación del almacenamiento del agente ................................................................................... 22Ampliación del almacenamiento del agente mediante la Consola de administración de AWS .......... 22Ampliación del almacenamiento del agente mediante la AWS CLI ............................................ 22Ampliación del almacenamiento del agente mediante la API .................................................... 23

    Actualización de la configuración de un clúster .............................................................................. 23Actualización de la configuración de un clúster mediante la AWS CLI ........................................ 23Actualización de la configuración de un clúster mediante la API ............................................... 24

    Eliminación de la configuración de un clúster ................................................................................ 25Eliminación de la configuración de un clúster mediante la AWS CLI .......................................... 25Eliminación de la configuración de un clúster mediante la API de ............................................. 24

    Expansión de un clúster ............................................................................................................ 26Expansión de un clúster mediante la Consola de administración de AWS ................................... 26Expansión de un clúster mediante la AWS CLI ...................................................................... 26Expansión de un clúster mediante la API ............................................................................. 27

    Monitoreo de un clúster ............................................................................................................. 27Niveles de monitoreo de Amazon MSK para métricas de CloudWatch ....................................... 28

    iii

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Métricas de Amazon MSK para monitorear con CloudWatch .................................................... 28Visualización de métricas de Amazon MSK mediante CloudWatch ............................................ 34Comprobación de retraso del consumidor con Burrow ............................................................ 35Monitoreo abierto con Prometheus ...................................................................................... 38

    Reinicio de un agente para un clúster .......................................................................................... 41Reinicio de un agente usando el AWS CLI ........................................................................... 41Reinicio de un agente con la API ........................................................................................ 41

    Etiquetado de un clúster ............................................................................................................ 42Conceptos básicos de etiquetas .......................................................................................... 43Seguimiento de costos utilizando el etiquetado ...................................................................... 43Restricciones de las etiquetas ............................................................................................ 43Etiquetado de recursos mediante la API Amazon MSK ........................................................... 44

    : Configuration .................................................................................................................................. 45Configuraciones personalizadas .................................................................................................. 45

    Configuración dinámica ...................................................................................................... 51Configuración de nivel de tema ........................................................................................... 51Estados ........................................................................................................................... 51

    Configuración predeterminada ..................................................................................................... 51Operaciones de configuración ..................................................................................................... 54

    Crear configuración ........................................................................................................... 54Para actualizar una configuración de MSK ............................................................................ 55Para eliminar una configuración de MSK .............................................................................. 55Para describir una configuración de MSK ............................................................................. 56Para describir una revisión de configuración de MSK ............................................................. 56Para enumerar todas las configuraciones de MSK de su cuenta para la región actual ................... 57

    Seguridad ........................................................................................................................................ 58Protección de los datos ............................................................................................................. 58

    Cifrado ............................................................................................................................ 59¿Cómo empiezo a utilizar el cifrado? ................................................................................... 60

    Identity and Access Management ................................................................................................ 62Funcionamiento de Amazon Managed Streaming for Apache Kafka con IAM .............................. 62Ejemplos de políticas basadas en identidad .......................................................................... 65Roles vinculados a servicios ............................................................................................... 68Solución de problemas ...................................................................................................... 69

    Autenticación del cliente ............................................................................................................ 69ACL de Apache Kafka ............................................................................................................... 72Control del acceso a Apache ZooKeeper ...................................................................................... 73Registro ................................................................................................................................... 74

    Registros de agente .......................................................................................................... 74Registro de llamadas a API ................................................................................................ 76

    Validación de la conformidad ...................................................................................................... 79Resiliencia ............................................................................................................................... 79Seguridad de la infraestructura ................................................................................................... 80

    Acceso al clúster .............................................................................................................................. 81Interconexión de Amazon VPC ................................................................................................... 81AWS Direct Connect ................................................................................................................. 81AWS Transit Gateway ............................................................................................................... 81Conexiones de VPN .................................................................................................................. 81Proxies REST .......................................................................................................................... 81Conectividad de varias VPC en regiones diferentes ....................................................................... 82EC2-Classic ............................................................................................................................. 82Información del puerto ............................................................................................................... 82

    Migración ......................................................................................................................................... 83Migración de su clúster de Apache Kafka a Amazon MSK ............................................................... 83Migración de un Clúster de Amazon MSK a otro ........................................................................... 84Prácticas recomendadas de MirrorMarker 1.0 ................................................................................ 84Ventajas de MirrorMaker 2.* ....................................................................................................... 85

    iv

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Límites ............................................................................................................................................ 86Versiones de Apache Kafka ............................................................................................................... 87

    Versiones compatibles de Apache Kafka ...................................................................................... 87Amazon MSK bug-fix versión 2.4.1.1 ................................................................................... 87Versión 2.4.1 de Apache Kafka ........................................................................................... 87Versión 2.3.1 de Apache Kafka ........................................................................................... 88Versión 2.2.1 de Apache Kafka ........................................................................................... 88Versión 1.1.1 de Apache Kafka ........................................................................................... 88

    Actualización de la versión de Apache Kafka ................................................................................ 88Solución de problemas ...................................................................................................................... 91

    El grupo de consumidores está atascado en PreparingRebalance estado ..................................... 91Protocolo de afiliación estática ............................................................................................ 91Identificar y reiniciar .......................................................................................................... 92

    Error al entregar los registros de agente a Amazon CloudWatch Logs ............................................... 92Ningún grupo de seguridad predeterminado .................................................................................. 92El clúster aparece atascado en el estado CREATING (Creando) ...................................................... 93El estado del clúster pasa de CREATING (Creando) a FAILED (Error) .............................................. 93El estado del clúster es ACTIVE (Activo), pero los productores no pueden enviar datos o losconsumidores no pueden recibir datos ......................................................................................... 93La AWS CLI no reconoce Amazon MSK ...................................................................................... 93Las particiones se desconectan o las réplicas no están sincronizadas ............................................... 93El espacio en el disco se está agotando ...................................................................................... 94La memoria se está agotando .................................................................................................... 94Al productor le aparece NotLeaderForPartitionException ................................................................. 94Particiones subreplicadas (URP) mayores que cero ....................................................................... 94Problemas de red ..................................................................................................................... 94

    Cliente Amazon EC2 y Clúster de MSK en la misma VPC ....................................................... 95Cliente Amazon EC2 y Clúster de MSK en distintas VPC ........................................................ 95Cliente en las instalaciones ................................................................................................ 95AWS Direct Connect ......................................................................................................... 96

    Prácticas recomendadas de ............................................................................................................... 97Ajustar el tamaño del clúster ...................................................................................................... 97

    Número de particiones por tabla ........................................................................................ 97Número de corredores por cluster ...................................................................................... 97

    Crear clústeres de alta disponibilidad ........................................................................................... 97Monitorear el espacio en disco ................................................................................................... 98Ajuste los parámetros de retención de datos ................................................................................. 98No agregue a agentes que no sean de MSK ................................................................................ 99Habilitar el cifrado en tránsito ..................................................................................................... 99Reasignar particiones ................................................................................................................ 99

    Historial de revisión ......................................................................................................................... 100AWS glossary ................................................................................................................................. 101....................................................................................................................................................... cii

    v

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    ¿Qué es Amazon MSK?Amazon Managed Streaming para Apache Kafka (Amazon MSK) es un servicio totalmente administradoque le permite crear y ejecutar aplicaciones que utilizan Apache Kafka para procesar datos de streaming.Amazon MSK proporciona las operaciones de plano de control, como crear, actualizar y eliminar clústeres.Le permite utilizar operaciones de plano de datos de Apache Kafka, como producir y consumir datos.Ejecuta versiones de código abierto de Apache Kafka. Esto significa que las aplicaciones, herramientasy complementos existentes de los socios y la comunidad Apache Kafka son compatibles sin necesidadde cambios en el código de la aplicación. Puede utilizar Amazon MSK para crear clústeres que utilicenversiones 1.1.1, 2.2.1, 2.3.1 o 2.4.1 de Apache Kafka.

    El siguiente diagrama ofrece información general sobre cómo funciona Amazon MSK.

    El diagrama ilustra la interacción entre los siguientes componentes:

    • Nodos de agente — Al crear un Clúster de Amazon MSK, especifique cuántos nodos de agente deseaque Amazon MSK cree en cada zona de disponibilidad. En el clúster de ejemplo que se muestra en estediagrama, hay un agente por zona de disponibilidad. Cada zona de disponibilidad tiene su propia subredde nube virtual privada (VPC).

    • Nodos ZooKeeper — Amazon MSK también crean nodos ZooKeeper de Apache para usted. ApacheZooKeeper es un servidor de código abierto que permite una coordinación distribuida altamenteconfiable.

    • Productores, consumidores y creadores de temas l— Amazon MSK le permite utilizar operaciones deplano de datos de Apache Kafka para crear temas y producir y consumir datos.

    • AWS CLI — Puede utilizar AWS Command Line Interface (AWS CLI) o las API del SDK para realizaroperaciones de plano de control. Por ejemplo, puede utilizar AWS CLI o el SDK para crear o eliminar

    1

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    un Clúster de Amazon MSK, enumerar todos los clústeres de una cuenta o ver las propiedades de unclúster.

    Amazon MSK detecta y se recupera automáticamente de los escenarios de error más comunes paraclústeres de modo que sus aplicaciones de productor y consumidor puedan continuar sus operacionesde escritura y lectura con un impacto mínimo. Cuando Amazon MSK detecta un error de agente, mitiga elerror o reemplaza al agente inaccesible o incorrecto por uno nuevo. Además, cuando es posible, reutilizael almacenamiento del agente más antiguo para reducir los datos que Apache Kafka necesita replicar. Suimpacto en la disponibilidad se limita al tiempo necesario para que Amazon MSK complete la detección yrecuperación. Después de una recuperación, las aplicaciones de productor y consumidor pueden seguircomunicándose con las mismas direcciones IP del agente que usaban antes del error.

    Para empezar a usar Amazon MSK, consulte Introducción (p. 4).

    Para ver las operaciones de plano de control disponibles en Amazon MSK, consulte Referencia de la APIAde Amazon MSK.

    Después de crear un clúster, puede utilizar Amazon CloudWatch para supervisarlo. Para obtener másinformación sobre cómo supervisar el clúster con el uso de métricas, consulte the section called “Monitoreode un clúster” (p. 27).

    2

    https://docs.aws.amazon.com/msk/1.0/apireference/clusters.htmlhttps://docs.aws.amazon.com/msk/1.0/apireference/clusters.html

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Inscripción en AWS

    Configuración de Amazon MSKAntes de usar Amazon MSK por primera vez, realice las siguientes tareas:

    Tareas• Inscripción en AWS (p. 3)• Descargar bibliotecas y herramientas (p. 3)

    Inscripción en AWSAl inscribirse en Amazon Web Services (AWS), su cuenta de AWS se inscribe automáticamente en todoslos servicios de AWS, incluido Amazon MSK. Solo se le cobrará por los servicios que utilice.

    Si ya dispone de una cuenta de AWS, pase a la siguiente tarea. Si no dispone de una cuenta de AWS,utilice el siguiente procedimiento para crear una.

    Para inscribirse en una cuenta de AWS

    1. Abra https://portal.aws.amazon.com/billing/signup.2. Siga las instrucciones en línea.

    Parte del procedimiento de inscripción consiste en recibir una llamada telefónica e indicar un código deverificación en el teclado del teléfono.

    Descargar bibliotecas y herramientasLas siguientes bibliotecas y herramientas pueden ayudarle a trabajar con Amazon MSK:

    • AWS Command Line Interface (AWS CLI) admite Amazon MSK. AWS CLI permite controlar variosservicios de AWS desde la línea de comandos y automatizarlos mediante scripts. Actualice su AWSCLI a la versión más reciente para asegurarse de que tiene soporte para Amazon MSK. Para obtenerinstrucciones detalladas sobre cómo actualizar el AWS CLI, consulte Instalación de la interfaz de líneade comandos de AWS.

    • El Referencia de la API de Amazon Managed Streaming for Kafka documento de las operaciones de APIque Amazon MSK admite.

    • Los AWS SDK para Go, Java, JavaScript, .NET, Node.js, PHP, Python y Ruby incluyen soporte ymuestras de Amazon MSK.

    3

    https://portal.aws.amazon.com/billing/signuphttps://docs.aws.amazon.com/cli/latest/userguide/https://docs.aws.amazon.com/cli/latest/userguide/cli-chap-install.htmlhttps://docs.aws.amazon.com/cli/latest/userguide/cli-chap-install.htmlhttps://docs.aws.amazon.com//msk/1.0/apireference/what-is-servicename.htmlhttps://docs.aws.amazon.com/sdk-for-go/api/service/kafka/https://aws.amazon.com/developers/getting-started/java/https://aws.amazon.com/sdkforbrowser/https://aws.amazon.com/developers/getting-started/net/https://aws.amazon.com/developers/getting-started/nodejs/https://aws.amazon.com/developers/getting-started/php/https://github.com/boto/botohttps://aws.amazon.com/developers/getting-started/ruby/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 1. Creación de una VPC

    Introducción al uso de Amazon MSKEn esta sección se muestra un ejemplo de cómo crear un Clúster de MSK, producir y consumir datosy monitorear el estado del clúster mediante métricas. Este ejemplo no representa todas las opcionesque puede elegir al crear un Clúster de MSK. En diferentes partes de este tutorial, elegimos opcionespredeterminadas por motivos de simplicidad. Esto no significa que sean las únicas opciones que funcionanpara configurar instancias de cliente o un Clúster de MSK.

    Este es un tutorial paso a paso que utiliza la Consola de administración de AWS y la AWS CLI. Si prefiereseguir una estrategia diferente, puede realizar los tipos de operaciones de AWS descritos en este tutorialutilizando solo la Consola de administración de AWS, solo la AWS CLI, solo la API de AWS o unacombinación de los tres entornos. Alternativamente, puede usar AWS CloudFormation para configurar unClúster de MSK. Para ver algunas plantillas de ejemplo de AWS CloudFormation, consulte Ejemplos deAmazon MSK CloudFormation.

    Prerequisites

    Antes de comenzar, asegúrese de que tiene una cuenta de AWS y de que tiene la AWS Command LineInterface (AWS CLI) instalada en el equipo. Para obtener más información acerca de estos requisitosprevios, consulte Configuración (p. 3).

    Important

    Asegúrese de que tiene la última versión de la AWS CLI. Es posible que las versiones anterioresno tengan la funcionalidad completa de Amazon MSK.

    Temas• Paso 1. Crear un VPC para su clúster MSK (p. 4)• Paso 2. Activar alta disponibilidad y tolerancia a fallos (p. 7)• Paso 3. Creación de un Clúster de Amazon MSK (p. 8)• Paso 4. Crear una máquina cliente (p. 10)• Paso 5. Creación de un tema (p. 11)• Paso 6. Producir y consumir datos (p. 12)• Paso 7. Uso Amazon CloudWatch para ver Amazon MSK Métricas (p. 13)• Paso 8. Elimine la Clúster de Amazon MSK (p. 14)

    Paso 1. Crear un VPC para su clúster MSKEn el primer paso de la Introducción al uso de Amazon MSK (p. 4), se utiliza la Consola de AmazonVPC para crear una Amazon Virtual Private Cloud (Amazon VPC). Creará un Clúster de MSK en esta VPCmás adelante.

    Para crear una VPC

    1. Inicie sesión en la Consola de administración de AWS y abra la consola de Amazon VPC en https://console.aws.amazon.com/vpc/.

    2. Elija Launch VPC Wizard (Lanzar el asistente de VPC).

    4

    https://docs.aws.amazon.com//AWSCloudFormation/latest/UserGuide/aws-resource-msk-cluster.html#aws-resource-msk-cluster--exampleshttps://docs.aws.amazon.com//AWSCloudFormation/latest/UserGuide/aws-resource-msk-cluster.html#aws-resource-msk-cluster--exampleshttps://console.aws.amazon.com/vpc/https://console.aws.amazon.com/vpc/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 1. Creación de una VPC

    3. Seleccione Select (Seleccionar) para aceptar la configuración predeterminada de Amazon VPC,denominada VPC with a Single Public Subnet (VPC con una única subred pública).

    5

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 1. Creación de una VPC

    4. Para Nombre de VPC, introducir AWSKafkaTutorialVPC. Si copia este nombre y péguelo en laconsola, elimine cualquier espacio blanco que vaya al campo de texto antes del nombre.

    5. En Availability Zone (Zona de disponibilidad), elija us-east-1a.6. Para Nombre de subred, introducir AWSKafkaTutorialSubnet-1. Si copia este nombre y péguelo

    en la consola, elimine cualquier espacio blanco que vaya al campo de texto antes del nombre.7. Elija Create VPC (Crear VPC) y, a continuación, elija OK (Aceptar).8. En la lista de VPC, busque AWSKafkaTutorialVPC y copie su ID de la columna VPC ID (ID de VPC).

    Guarde este ID en algún lugar, porque lo necesita en algunos de los pasos siguientes.

    Paso siguiente

    Paso 2. Activar alta disponibilidad y tolerancia a fallos (p. 7)

    6

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 2. Activar alta disponibilidad y tolerancia a fallos

    Paso 2. Activar alta disponibilidad y tolerancia afallos

    En este paso de Introducción al uso de Amazon MSK (p. 4), habilita la alta disponibilidad y latolerancia a errores. Para ello, agregue dos subredes a la VPC que creó con una subred en el pasoanterior. Después de completar este paso, tendrá tres subredes en tres zonas de disponibilidad diferentes.

    Para añadir subredes a la VPC

    1. Abra la consola de Amazon VPC en https://console.aws.amazon.com/vpc/.2. En el panel de navegación, elija Subnets.3. En la lista de subredes, busque AWSKafkaTutorialSubnet-1 y, a continuación, busque la

    columna denominada Route table (Tabla de enrutamiento). Copie el valor asociado conAWSKafkaTutorialSubnet-1 en dicha columna y guárdelo para más adelante.

    4. Elija Create subnet (Crear subred).5. Para el Etiqueta de nombre, introducir AWSKafkaTutorialSubnet-2. Si copia este nombre y

    péguelo en la consola, elimine cualquier espacio blanco que vaya al campo de texto antes del nombre.6. En VPC, elija AWSKafkaTutorialVPC.7. En Availability Zone (Zona de disponibilidad), elija us-east-1b.8. En IPv4 CIDR block (Bloque de CIDR IPv4), escriba 10.0.1.0/24.9. Elija Create (Crear) y, a continuación, Close (Cerrar).10. Elija AWSKafkaTutorialSubnet-2 en la lista de subredes seleccionando la casilla de verificación situada

    junto a ella. Asegúrese de que no hay ninguna otra casilla de verificación seleccionada en la lista.11. En la vista de subred situada cerca de la parte inferior de la página, elija la pestaña Route Table

    (Tabla de enrutamiento) y, a continuación, elija Edit route table association (Editar asociación de tablade enrutamiento).

    7

    https://console.aws.amazon.com/vpc/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 3. Crear un clúster

    12. En la lista Route Table ID (ID de tabla de enrutamiento), elija la tabla de enrutamiento cuyo valor copióanteriormente en este procedimiento.

    13. Elija Save (Guardar) y, a continuación, elija Close (Cerrar).14. Repita este procedimiento para crear otra subred con el nombre AWSKafkaTutorialSubnet-3,

    en el us-east-1c Zona de disponibilidad y con el bloqueo de ipv4 CIDR establecer 10.0.2.0/24.Si copia el nombre de la subred y péguelo en la consola, elimine cualquier espacio blanco que seintroduzca en el campo de texto antes del nombre.

    15. Edite la tabla de enrutamiento de AWSKafkaTutorialSubnet-3 para garantizar quetiene la misma tabla de enrutamiento utilizada para AWSKafkaTutorialSubnet-1 yAWSKafkaTutorialSubnet-2.

    Paso siguiente

    Paso 3. Creación de un Clúster de Amazon MSK (p. 8)

    Paso 3. Creación de un Clúster de Amazon MSKEn este paso de la Introducción al uso de Amazon MSK (p. 4), crea un Clúster de Amazon MSK en laVPC.

    Para crear un Clúster de Amazon MSK mediante la AWS CLI

    1. Abra la consola de Amazon VPC en https://console.aws.amazon.com/vpc/.2. En el panel de navegación, elija Subnets (Subredes) y, a continuación, copie los ID de subred de las

    tres subredes que creó anteriormente. Guarde estos ID porque los necesitará más adelante en esteprocedimiento.

    8

    https://console.aws.amazon.com/vpc/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 3. Crear un clúster

    3. En el panel de navegación, elija Security Groups (Grupos de seguridad). A continuación, en la tablade grupos de seguridad, busque el grupo para el que la columna VPC ID (ID de VPC) tiene el ID queguardó para AWSKafkaTutorialVPC. Copie el ID de este grupo de seguridad y guárdelo porque lonecesitará más adelante en este procedimiento.

    4. Copie el siguiente JSON y guárdelo en un archivo. Asigne el nombre clusterinfo.json al archivo.

    { "BrokerNodeGroupInfo": { "BrokerAZDistribution": "DEFAULT", "InstanceType": "kafka.m5.large", "ClientSubnets": [ "AWSKafkaTutorialSubnet-1 Subnet ID", "AWSKafkaTutorialSubnet-2 Subnet ID", "AWSKafkaTutorialSubnet-3 Subnet ID" ], "SecurityGroups": [ "AWSKafkaTutorialVPC Security Group ID" ] }, "ClusterName": "AWSKafkaTutorialCluster", "EncryptionInfo": { "EncryptionAtRest": { "DataVolumeKMSKeyId": "your-CMK" }, "EncryptionInTransit": { "InCluster": true, "ClientBroker": "TLS" } }, "EnhancedMonitoring": "PER_TOPIC_PER_BROKER", "KafkaVersion": "2.2.1", "NumberOfBrokerNodes": 3}

    5. En el archivo clusterinfo.json, reemplace los marcadores de los tres ID de subred y el ID degrupo de seguridad por los valores que guardó en los pasos anteriores.

    6. En clusterinfo.json, sustituir your-CMK con un CMK gestionado por el cliente. También puedeeliminar EncryptionAtRest y dejar que Amazon MSK cree una CMK y usarla en su nombre.Establecer InCluster en true significa que desea que Amazon MSK cifre los datos a medidaque se desplazan entre los agentes dentro del clúster. Para ClientBroker puede elegir uno delos siguientes ajustes: TLS, , TLS_PLAINTEXT, o PLAINTEXT. En este ejercicio, usamos TLS paraindicar que queremos cifrar los datos a medida que viaja entre clientes y corredores. Para obtener másinformación acerca de la configuración de cifrado, consulte the section called “Cifrado” (p. 59).

    7. Actualice la AWS CLI a la versión más reciente para asegurarse de que es compatible con AmazonMSK. Para obtener instrucciones detalladas sobre cómo actualizar el AWS CLI, consulte Instalaciónde la interfaz de línea de comandos de AWS.

    8. Ejecute el siguiente comando de la AWS CLI en el directorio en el que guardó el archivoclusterinfo.json.

    aws kafka create-cluster --cli-input-json file://clusterinfo.json

    El resultado del comando tendrá un aspecto similar al siguiente JSON:

    { "ClusterArn": "...", "ClusterName": "AWSKafkaTutorialCluster", "State": "CREATING"}

    9

    https://docs.aws.amazon.com/kms/latest/developerguide/concepts.html#customer-cmkhttps://docs.aws.amazon.com/cli/latest/userguide/cli-chap-install.htmlhttps://docs.aws.amazon.com/cli/latest/userguide/cli-chap-install.html

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 4. Crear una máquina cliente

    9. Guarde el valor de la clave ClusterArn, porque la necesita más adelante.

    Important

    Asegúrese de haber guardado ClusterArn antes de continuar.

    Paso siguiente

    Paso 4. Crear una máquina cliente (p. 10)

    Paso 4. Crear una máquina clienteEn este paso de Introducción al uso de Amazon MSK (p. 4), se crea un equipo cliente. Utilice esteequipo cliente para crear un tema que produzca y consuma datos. Por motivos de simplicidad, pondremoseste equipo cliente en la misma VPC que el clúster de Amazon MSK. Pero un equipo cliente no tiene queestar en la misma VPC que el clúster.

    Para crear un equipo cliente

    1. Abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/.2. Elija Launch Instance (Lanzar instancia).3. Elija Select (Seleccionar) para crear una instancia de Amazon Linux 2 AMI (HVM), SSD Volume Type

    (Tipo de volumen SSD).4. Elija el tipo de instancia t2.xlarge seleccionando la casilla de verificación situada junto a él.5. Seleccione Next (Siguiente). Página Configure Instance Details (Configurar los detalles de la instancia)6. En la lista Network (Red) elija AWSKafkaTutorialVPC.7. En la lista Auto-assign Public IP (Asignar IP pública automáticamente), elija Enable (Habilitar).8. En el menú cerca de la parte superior, elija 5. Añadir etiquetas9. Elija Add Tag (Añadir etiqueta).10. Escriba Name en Key (Clave) y AWSKafkaTutorialClient en Value (Valor).11. Elija Review and Launch (Revisar y lanzar) y, a continuación, elija Launch (Lanzar).12. Elija Create a new key pair (Crear un nuevo par de claves), escriba MSKKeyPair en Key pair name

    (Nombre del par de claves) y elija Download Key Pair (Descargar par de claves). También puedeutilizar un par de claves existente si lo prefiere.

    13. Lea la confirmación, seleccione la casilla de verificación situada junto a ella y elija Launch Instances(Lanzar instancias).

    14. Elija View Instances (Ver instancias). A continuación, en la columna Security Groups (Grupos deseguridad), elija el grupo de seguridad asociado a la instancia AWSKafkaTutorialClient.

    15. Copie el valor de Group ID (ID de grupo) (y no el nombre del grupo) asociado al grupo de seguridad yguárdelo para más adelante.

    16. Abra la consola de Amazon VPC en https://console.aws.amazon.com/vpc/.17. En el panel de navegación, elija Security Groups (Grupos de seguridad). En la columna VPC

    ID (ID de VPC) de los grupos de seguridad, busque la fila que contiene el ID guardado paraAWSKafkaTutorialVPC y la columna Description (Descripción) tiene el valor default VPC securitygroup (grupo de seguridad de VPC predeterminado). Elija esta fila seleccionando la casilla deverificación de la primera columna.

    18. En la pestaña Inbound Rules (Reglas de entrada), elija Edit rules (Editar reglas).19. Seleccione Add Rule (Añadir regla).20. En la nueva regla, elija All traffic (Todo el tráfico) en la columna Type (Tipo). En el segundo campo de

    la columna Source (Origen) escriba el ID del grupo de seguridad del equipo cliente. Este es el ID degrupo que guardó anteriormente.

    10

    https://console.aws.amazon.com/ec2/https://console.aws.amazon.com/vpc/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 5. Creación de un tema

    21. Elija Save rules (Guardar reglas).

    Paso siguiente

    Paso 5. Creación de un tema (p. 11)

    Paso 5. Creación de un temaEn este paso de Introducción al uso de Amazon MSK (p. 4), instale las bibliotecas y herramientas delcliente de Apache Kafka en el equipo cliente y, a continuación, cree un tema.

    Para crear un tema en el equipo cliente

    1. Abra la consola de Amazon EC2 en https://console.aws.amazon.com/ec2/.2. En el panel de navegación, elija Instances (Instancias), y, a continuación, elija AWSKafkaTutorialClient

    seleccionando la casilla de verificación situada junto a él.3. Elija Actions (Acciones) y, a continuación, elija Connect (Conectar). Siga las instrucciones para

    conectarse al equipo cliente AWSKafkaTutorialClient.4. Instale Java en el equipo cliente ejecutando el siguiente comando:

    sudo yum install java-1.8.0

    5. Ejecute el siguiente comando para descargar Apache Kafka.

    wget https://archive.apache.org/dist/kafka/2.2.1/kafka_2.12-2.2.1.tgz

    Note

    Si desea utilizar un sitio espejo que no sea el utilizado en este comando, puede elegir unodiferente en el sitio web de Apache.

    6. Ejecute el siguiente comando en el directorio donde descargó el archivo TAR del paso anterior.

    tar -xzf kafka_2.12-2.2.1.tgz

    7. Vaya al directorio kafka_2.12-2.2.1.8. La creación del clúster puede tardar unos minutos. Para averiguar si el clúster que creó está listo,

    ejecute el comando siguiente, sustituya ClusterArn con el nombre de recursos de Amazon (ARN)que obtuvo al final de the section called “Paso 3. Crear un clúster” (p. 8).

    aws kafka describe-cluster --region us-east-1 --cluster-arn "ClusterArn"

    El resultado de ejecutar este comando se parece al siguiente JSON:

    { "ClusterInfo": { "BrokerNodeGroupInfo": { "BrokerAZDistribution": "DEFAULT", "ClientSubnets": [ "subnet-0d44a1567c2ce409a", "subnet-051201cac65561565", "subnet-08b4eceb2bd3bd8c2" ], "InstanceType": "kafka.m5.large", "SecurityGroups": [

    11

    https://console.aws.amazon.com/ec2/https://www.apache.org/dyn/closer.cgi?path=/kafka/1.1.1/kafka_2.11-1.1.1.tgz

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 6. Producir y consumir datos

    "sg-041e78b0a8ba7f834" ], "StorageInfo": { "EbsStorageInfo": { "VolumeSize": 1000 } } }, "ClusterArn": "...", "ClusterName": "AWSKafkaTutorialCluster", "CreationTime": "2018-11-06T01:36:57.451Z", "CurrentBrokerSoftwareInfo": { "KafkaVersion": "2.2.1" }, "CurrentVersion": "K3UN6WX5RRO2AG", "EncryptionInfo": { "EncryptionAtRest": { "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:012345678901:key/a7de6539-7d2e-4e71-a279-aaaa5555878" } }, "EnhancedMonitoring": "DEFAULT", "NumberOfBrokerNodes": 3, "State": "CREATING" }}

    Si el resultado del comando muestra que el estado del clúster aún es CREATING, espere unos minutosy vuelva a ejecutar el comando. Siga ejecutando este comando cada pocos minutos hasta que elestado vuelva a ACTIVE. Cuando el estado es ACTIVE, la salida de este describe-cluster elcomando incluye una clave adicional llamada ZookeeperConnectString. Copie todo el valorasociado con esta clave porque lo necesita para crear un tema de Apache Kafka en el siguientecomando.

    9. Ejecutar el siguiente comando, sustituir ZookeeperConnectString con el valor que guardódespués de ejecutar el describe-cluster comando.

    bin/kafka-topics.sh --create --zookeeper ZookeeperConnectString --replication-factor 3 --partitions 1 --topic AWSKafkaTutorialTopic

    Si el comando se ejecuta correctamente, verá el siguiente mensaje: Created topicAWSKafkaTutorialTopic.

    Paso siguiente

    Paso 6. Producir y consumir datos (p. 12)

    Paso 6. Producir y consumir datosEn este paso de Introducción al uso de Amazon MSK (p. 4), se producen y consumen datos.

    Para producir y consumir mensajes

    1. En este ejemplo usamos el truststore de JVM para comunicarnos con el Clúster de MSK. Para ello,primero cree una carpeta denominada /tmp en el equipo cliente. A continuación, vaya al bin carpetade la instalación de Apache Kafka y ejecutar el siguiente comando, sustituirlo JDKFolder con elnombre de la carpeta JDK. Por ejemplo, el nombre de la carpeta JDK en su instancia podría serjava-1.8.0-openjdk-1.8.0.201.b09-0.amzn2.x86_64.

    12

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 7. Visualización de las métricas

    cp /usr/lib/jvm/JDKFolder/jre/lib/security/cacerts /tmp/kafka.client.truststore.jks

    2. Mientras esté aún en la carpeta bin de la instalación de Apache Kafka en el equipo cliente, cree unarchivo de texto denominado client.properties con el siguiente contenido.

    security.protocol=SSLssl.truststore.location=/tmp/kafka.client.truststore.jks

    3. Ejecutar el siguiente comando, sustituir ClusterArn con el nombre de recursos de Amazon (ARN)que obtuvo al final de the section called “Paso 3. Crear un clúster” (p. 8).

    aws kafka get-bootstrap-brokers --region us-east-1 --cluster-arn ClusterArn

    En el resultado JSON del comando, guarde el valor asociado a la cadena denominada"BootstrapBrokerStringTls", porque lo necesita en los siguientes comandos.

    4. Ejecute el comando siguiente en el bin carpeta, sustitución BootstrapBrokerStringTls con elvalor que obtuvo al ejecutar el comando anterior.

    ./kafka-console-producer.sh --broker-list BootstrapBrokerStringTls --producer.config client.properties --topic AWSKafkaTutorialTopic

    5. Escriba el mensaje que desee y pulse Enter (Entrar). Repita este paso dos o tres veces. Cada vez queintroduzca una línea y pulse Enter (Entrar), dicha línea se envía al clúster de Apache Kafka como unmensaje separado.

    6. Mantenga abierta la conexión al equipo cliente y, a continuación, abra una segunda conexiónindependiente a dicho equipo en una nueva ventana.

    7. En el siguiente comando, sustituya BootstrapBrokerStringTls con el valor que ha guardadoantes. Luego, vaya a la carpeta bin y ejecute el comando usando la segunda conexión con el equipocliente.

    ./kafka-console-consumer.sh --bootstrap-server BootstrapBrokerStringTls --consumer.config client.properties --topic AWSKafkaTutorialTopic --from-beginning

    Comenzará a ver los mensajes que introdujo anteriormente cuando utilizó el comando del productorde la consola. Estos mensajes se cifran mediante TLS en tránsito.

    8. Escriba más mensajes en la ventana del productor y observe cómo aparecen en la ventana delconsumidor.

    Paso siguiente

    Paso 7. Uso Amazon CloudWatch para ver Amazon MSK Métricas (p. 13)

    Paso 7. Uso Amazon CloudWatch para ver AmazonMSK Métricas

    En este paso de Introducción al uso de Amazon MSK (p. 4), verá las métricas de Amazon MSK enAmazon CloudWatch.

    Para ver las métricas de Amazon MSK en CloudWatch

    1. Abra la consola de CloudWatch en https://console.aws.amazon.com/cloudwatch/.

    13

    https://console.aws.amazon.com/cloudwatch/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Paso 8. Eliminar el clúster

    2. En el panel de navegación, seleccione Metrics.3. Seleccione la pestaña All metrics (Todas las métricas) y, a continuación, seleccione AWS/Kafka.4. Para ver métricas de nivel de agente, elija Broker ID, Cluster Name (ID de agente, Nombre del

    clúster). En las métricas de nivel de clúster, elija Cluster Name (Nombre del clúster).5. (Opcional) En el panel de gráficos, seleccione una estadística y un periodo de tiempo y, a

    continuación, cree una alarma de CloudWatch utilizando estos ajustes.

    Paso siguiente

    Paso 8. Elimine la Clúster de Amazon MSK (p. 14)

    Paso 8. Elimine la Clúster de Amazon MSKEn el paso final de Introducción al uso de Amazon MSK (p. 4), elimina el Clúster de MSK que creó enPaso 3. Creación de un Clúster de Amazon MSK (p. 8).

    Para eliminar el Clúster de Amazon MSK mediante la AWS CLI

    1. Ejecute el siguiente comando en el equipo donde tiene la AWS CLI instalada.

    aws kafka list-clusters --region us-east-1

    2. En el resultado del comando list-clusters, busque el nombre de recurso de Amazon (ARN) delclúster que se corresponda con el clúster que desea eliminar. Copie ese ARN.

    3. Ejecutar el siguiente comando, sustituir ClusterArn con el ARN que obtuvo cuando ejecutó elcomando anterior.

    aws kafka delete-cluster --region us-east-1 --cluster-arn ClusterArn

    14

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Creación de un clúster

    Amazon MSK: cómo funcionaUn Clúster de Amazon MSK es el recurso principal de Amazon MSK que puede crear en su cuenta. En lostemas de esta sección se describe cómo realizar las operaciones comunes de Amazon MSK. Para obteneruna lista de todas las operaciones que puede realizar en un Clúster de MSK, consulte:

    • La Consola de administración de AWS• La Referencia de la API de Amazon MSK• La Referencia de los comandos de la CLI de Amazon MSK

    Temas• Creación de una Clúster de Amazon MSK (p. 15)• Eliminación de un Clúster de Amazon MSK (p. 19)• Obtención de la cadena de conexión Apache ZooKeeper para un Clúster de Amazon MSK (p. 19)• Obtención de los agentes de arranque para un Clúster de Amazon MSK (p. 21)• Listado de clústeres de Amazon MSK (p. 21)• Ampliación del almacenamiento del agente (p. 22)• Actualización de la configuración de un Clúster de Amazon MSK (p. 23)• Eliminación de la configuración de un Clúster de Amazon MSK (p. 25)• Expansión de un Clúster de Amazon MSK (p. 26)• Monitorización de un Clúster de Amazon MSK (p. 27)• Reinicio de un agente para un Clúster de Amazon MSK (p. 41)• Etiquetado de Clúster de Amazon MSK (p. 42)

    Creación de una Clúster de Amazon MSKAntes de crear un Clúster de Amazon MSK, debe tener una VPC y configurar subredes dentro de esaVPC. Necesita dos subredes en dos zonas de disponibilidad diferentes en la EE.UU. Oeste (Norte deCalifornia) Región. En todas las demás regiones donde Amazon MSK esté disponible, puede especificardos o tres subredes. Todas las subredes deben estar en diferentes zonas de disponibilidad. Al crear unclúster, Amazon MSK distribuye los nodos del agente de manera uniforme a través de las subredes queespecifique. Para obtener un ejemplo de cómo configurar una VPC y subredes para un Clúster de MSK,consulte ??? (p. 4) y ??? (p. 7).

    Tipos de instancia del agenteCuando se crea un Clúster de Amazon MSK, se especifica el tipo de instancia Amazon EC2 que desea quesean los agentes. Después de crear un clúster, no puede cambiar el tipo de instancia EC2 de sus agentes.Amazon MSK admite los siguientes tipos de instancia:

    • t3.small• m5.large, m5.2xlarge, m5.4xlarge, m5.8xlarge, m5.12xlarge, m5.16xlarge, m5.24xlarge

    Los agentes M5 tienen un rendimiento de referencia más alto que los agentes T3 y se recomiendan paracargas de trabajo de producción. Los agentes M5 también pueden tener más particiones por agente que

    15

    https://console.aws.amazon.com/mskhttps://docs.aws.amazon.com/msk/1.0/apireferencehttps://docs.aws.amazon.com/cli/latest/reference/kafka/index.html

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Creación de un clúster mediante laConsola de administración de AWS

    los agentes T3. Utilice los agentes M5 si está ejecutando cargas de trabajo de grado de producción másgrandes o necesita un mayor número de particiones. Para obtener más información sobre los tipos deinstancias M5, consulte Instancias M5 de Amazon EC2.

    Los agentes T3 tienen la capacidad de usar créditos de CPU para rendimiento por ráfagas temporalmente.Utilice los agentes T3 para el desarrollo de bajo costo, si está probando cargas de trabajo de streaming depequeñas a medianas, o si tiene cargas de trabajo de streaming de bajo rendimiento que experimentanpicos temporales en el rendimiento. Le recomendamos que ejecute una prueba de concepto paradeterminar si los agentes T3 son suficientes para la producción o la carga de trabajo crítica. Para obtenermás información sobre tipos de instancia T3, consulte Instancias T3 de Amazon EC2.

    Para obtener más información sobre cómo elegir los tipos de instancia de agente, consulte the sectioncalled “Ajustar el tamaño del clúster” (p. 97).

    Creación de un clúster mediante la Consola deadministración de AWS

    1. Open the Amazon MSK console at https://console.aws.amazon.com/msk/.2. Elija . Create cluster.3. Especifique un nombre para el clúster.4. En la lista VPC, elija la VPC que desea utilizar para el clúster. También puede especificar qué versión

    de Apache Kafka quiere que Amazon MSK utilice para crear el clúster.5. Especifique dos subredes si utiliza una de las siguientes regiones: América del Sur (São Paulo),

    Canadá (Central), y EE.UU. Oeste (Norte de California). En otras regiones donde Amazon MSK estédisponible, puede especificar dos o tres subredes. Las subredes que especifique deben estar endiferentes zonas de disponibilidad.

    6. Elija el tipo de configuración que desee. Para obtener más información acerca de las configuracionesde MSK, consulte : Configuration (p. 45).

    7. Especifique el tipo y el número de agente que desea que MSK cree en cada zona de disponibilidad. Elmínimo es un agente por zona de disponibilidad y el máximo es 30 agentes por clúster.

    8. (Opcional) Asigne etiquetas al clúster. Las etiquetas son opcionales. Para obtener más información,consulte the section called “Etiquetado de un clúster” (p. 42).

    9. Puede ajustar el volumen de almacenamiento por agente. Después de crear el clúster, puedeaumentar el volumen de almacenamiento por agente, pero no puede reducirlo.

    10. Elija la configuración que desee para cifrar los datos en tránsito. De forma predeterminada, MSK cifralos datos a medida que transitan entre los agentes dentro de un clúster. Si no desea cifrar datos amedida que transitan entre agentes, desactive la casilla de verificación Enable encryption within thecluster (Habilitar cifrado dentro del clúster).

    11. Elija una de las tres configuraciones para cifrar los datos a medida que transitan entre clientes yagentes. Para obtener más información, consulte the section called “Cifrado en tránsito” (p. 60).

    12. Elija el tipo de CMK que desea utilizar para cifrar datos en reposo. Para obtener más información,consulte the section called “Cifrado en reposo” (p. 59).

    13. Si desea autenticar la identidad de los clientes, seleccione Enable TLS client authentication(Habilitar la autenticación de cliente TLS) seleccionando la casilla situada junto al cliente. Paraobtener más información acerca de la autenticación, consulte the section called “Autenticación delcliente” (p. 69).

    14. Elija el nivel de supervisión que desee. Esto determina el conjunto de métricas que obtiene. Paraobtener más información, consulte the section called “Monitoreo de un clúster” (p. 27).

    15. (Opcional) Elija Configuración avanzaday, a continuación, selecciona Customize settingsPuedeespecificar uno o más grupos de seguridad a los que desea dar acceso al clúster (por ejemplo, losgrupos de seguridad de los equipos informáticos del cliente). Si especifica grupos de seguridad que se

    16

    https://aws.amazon.com/ec2/instance-types/m5/https://aws.amazon.com/ec2/instance-types/t3/https://console.aws.amazon.com/msk/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Creación de un clúster mediante la AWS CLI

    han compartido con usted, debe asegurarse de que tiene permisos para ellos. En concreto, necesita elpermiso ec2:DescribeSecurityGroups. Para ver un ejemplo, consulte de Amazon EC2: Permiteadministrar grupos de seguridad de EC2 asociados a una VPC específica, mediante programación yen la consola de.

    16. Elija . Create cluster.

    Creación de un clúster mediante la AWS CLI

    1. Copie el siguiente JSON y guárdelo en un archivo. Asigne un nombre al archivobrokernodegroupinfo.json. Reemplace los ID de subred en el JSON por los valores quecorresponden a sus subredes. Estas subredes deben estar en diferentes zonas de disponibilidad.Reemplazar "Security-Group-ID" con el ID de uno o varios grupos de seguridad de la VPCcliente. Los clientes asociados a estos grupos de seguridad obtienen acceso al clúster. Si especificagrupos de seguridad que se han compartido con usted, debe asegurarse de que tiene permisos paraellos. En concreto, necesita el permiso ec2:DescribeSecurityGroups. Para ver un ejemplo,consulte de Amazon EC2: Permite administrar grupos de seguridad de EC2 asociados a unaVPC específica, mediante programación y en la consola de. Finalmente, guarde el archivo JSONactualizado en el equipo donde tiene instalado el archivo AWS CLI.

    { "InstanceType": "kafka.m5.large", "ClientSubnets": [ "Subnet-1-ID", "Subnet-2-ID" ], "SecurityGroups": [ "Security-Group-ID" ]}

    Important

    Especifique exactamente dos subredes si utiliza una de las siguientes regiones: América delSur (São Paulo), Canadá (Central), y EE.UU. Oeste (Norte de California). Para otras regionesdonde Amazon MSK esté disponible, puede especificar dos o tres subredes. Las subredesque especifique deben estar en distintas zonas de disponibilidad. Al crear un clúster, AmazonMSK distribuye los nodos del agente de manera uniforme entre las subredes que especifique.

    2. Ejecute lo siguiente AWS CLI en el directorio en el que guardó el comandobrokernodegroupinfo.json archivo, sustitución "Your-Cluster-Name" con un nombre desu elección. En : "Monitoring-Level", puede especificar uno de los tres valores siguientes:DEFAULTde PER_BROKER, o bien PER_TOPIC_PER_BROKER. Para obtener información sobreestos tres niveles diferentes de monitorización, consulte ??? (p. 27). El parámetro enhanced-monitoring es opcional. Si no lo especifica en el comando create-cluster, obtendrá el nivel desupervisión DEFAULT.

    aws kafka create-cluster --cluster-name "Your-Cluster-Name" --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "2.2.1" --number-of-broker-nodes 3 --enhanced-monitoring "Monitoring-Level"

    El resultado del comando tendrá un aspecto similar al siguiente JSON:

    { "ClusterArn": "...", "ClusterName": "AWSKafkaTutorialCluster", "State": "CREATING"

    17

    https://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_examples_ec2_securitygroups-vpc.htmlhttps://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_examples_ec2_securitygroups-vpc.htmlhttps://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_examples_ec2_securitygroups-vpc.htmlhttps://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_examples_ec2_securitygroups-vpc.htmlhttps://docs.aws.amazon.com/IAM/latest/UserGuide/reference_policies_examples_ec2_securitygroups-vpc.html

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Creación de un clúster con una configuración MSKpersonalizada mediante el comando AWS CLI

    }

    Note

    El comando create-cluster puede devolver un error que indica que una o más subredespertenecen a zonas de disponibilidad no compatibles. Cuando esto sucede, el error indicaqué zonas de disponibilidad no son compatibles. Cree subredes que no utilicen las zonas dedisponibilidad no admitidas e intente ejecutar el comando create-cluster de nuevo.

    3. Guarde el valor de la clave ClusterArn, ya que lo necesitará para realizar otras acciones en elclúster.

    Creación de un clúster con una configuración MSKpersonalizada mediante el comando AWS CLI

    Para obtener información acerca de las configuraciones MSK personalizadas y cómo crearlas, consulte :Configuration (p. 45).

    1. Guarde el siguiente JSON en un archivo y sustituya configuration-arn con el ARN de laconfiguración que desea utilizar para crear el clúster.

    { "Arn": configuration-arn, "Revision": 1}

    2. Ejecute el comando create-cluster y use la opción configuration-info para apuntar alarchivo JSON que guardó en el paso anterior. A continuación se muestra un ejemplo: .

    aws kafka create-cluster --cluster-name ExampleClusterName --broker-node-group-info file://brokernodegroupinfo.json --kafka-version "1.1.1" --number-of-broker-nodes 3 --enhanced-monitoring PER_TOPIC_PER_BROKER --configuration-info file://configuration.json

    El siguiente es un ejemplo de una respuesta correcta después de ejecutar este comando.

    { "ClusterArn": "arn:aws:kafka:us-east-1:123456789012:cluster/CustomConfigExampleCluster/abcd1234-abcd-dcba-4321-a1b2abcd9f9f-2", "ClusterName": "CustomConfigExampleCluster", "State": "CREATING"}

    Creación de un clúster mediante la APIPara crear un clúster mediante la API, vea CreateCluster.

    18

    https://docs.aws.amazon.com//msk/1.0/apireference/clusters.html#CreateCluster

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Eliminación de un clúster

    Eliminación de un Clúster de Amazon MSKEliminación de un clúster mediante la Consola deadministración de AWS1. Open the Amazon MSK console at https://console.aws.amazon.com/msk/.2. Seleccione el Clúster de MSK que desee eliminar activando la casilla de verificación situada junto a él.3. Elija . Deletey, a continuación, confirme la eliminación.

    Eliminación de un clúster mediante la AWS CLIEjecute el siguiente comando, reemplazando ClusterArn con el nombre de recurso de Amazon (ARN)que obtuvo al crear el clúster de. Si no tiene el ARN para su clúster, puede encontrarlo enumerandotodos los clústeres. Para obtener más información, consulte the section called “Listado de clústeres de” (p. 21).

    aws kafka delete-cluster --cluster-arn ClusterArn

    Eliminación de un clúster mediante la APIPara eliminar un clúster mediante la API, consulte DeleteCluster.

    Obtención de la cadena de conexión ApacheZooKeeper para un Clúster de Amazon MSK

    Obtención de la cadena de conexión ApacheZooKeeper mediante la Consola de administración deAWS1. Open the Amazon MSK console at https://console.aws.amazon.com/msk/.2. La tabla muestra todos los clústeres de la región actual en esta cuenta. Elija el nombre de un clúster

    para ver su descripción.3. En la Resumen del clúster selecciona View client informationEsto muestra los servidores de arranque,

    así como la cadena de conexión Apache ZooKeeper.

    Obtención de la cadena de conexión ApacheZooKeeper mediante la AWS CLI1. Si no conocee el nombre de recurso de Amazon (ARN) de su clúster, puede encontrarlo enumerando

    todos los clústeres de su cuenta. Para obtener más información, consulte the section called “Listadode clústeres de ” (p. 21).

    2. Para obtener la cadena de conexión Apache ZooKeeper, junto con otra información sobre el clúster,ejecute el siguiente comando, reemplazando ClusterArn con el ARN del clúster.

    19

    https://console.aws.amazon.com/msk/https://docs.aws.amazon.com//msk/1.0/apireference/clusters-clusterarn.html#DeleteClusterhttps://console.aws.amazon.com/msk/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Obtención de la cadena de conexiónApache ZooKeeper mediante la API

    aws kafka describe-cluster --cluster-arn ClusterArn

    El resultado de este comando describe-cluster tendrá un aspecto similar al siguiente.

    { "ClusterInfo": { "BrokerNodeGroupInfo": { "BrokerAZDistribution": "DEFAULT", "ClientSubnets": [ "subnet-0123456789abcdef0", "subnet-2468013579abcdef1", "subnet-1357902468abcdef2" ], "InstanceType": "kafka.m5.large", "StorageInfo": { "EbsStorageInfo": { "VolumeSize": 1000 } } }, "ClusterArn": "arn:aws:kafka:us-east-1:111122223333:cluster/testcluster/12345678-abcd-4567-2345-abcdef123456-2", "ClusterName": "testcluster", "CreationTime": "2018-12-02T17:38:36.75Z", "CurrentBrokerSoftwareInfo": { "KafkaVersion": "2.2.1" }, "CurrentVersion": "K13V1IB3VIYZZH", "EncryptionInfo": { "EncryptionAtRest": { "DataVolumeKMSKeyId": "arn:aws:kms:us-east-1:555555555555:key/12345678-abcd-2345-ef01-abcdef123456" } }, "EnhancedMonitoring": "DEFAULT", "NumberOfBrokerNodes": 3, "State": "ACTIVE", "ZookeeperConnectString": "10.0.1.101:2018,10.0.2.101:2018,10.0.3.101:2018" }}

    El ejemplo de JSON anterior muestra la clave ZookeeperConnectString en la salida del comandodescribe-cluster. Copie el valor correspondiente a esta clave y guárdelo para cuando necesitecrear un tema en el clúster.

    Important

    Su Clúster de Amazon MSK debe estar en el estado ACTIVE para poder obtener lacadena de conexión ZooKeeper. Cuando un clúster sigue en la CREATING , la salida de ladescribe-cluster el comando no incluye ZookeeperConnectString. Si este es elcaso, espere unos minutos y, a continuación, ejecute el describe-cluster una vez másdespués de que el clúster alcance el ACTIVE el estado.

    Obtención de la cadena de conexión ApacheZooKeeper mediante la APIPara obtener la cadena de conexión Apache ZooKeeper mediante la API, consulte DescribeCluster.

    20

    https://docs.aws.amazon.com//msk/1.0/apireference/clusters-clusterarn.html#DescribeCluster

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Obtención de los agentes de arranque

    Obtención de los agentes de arranque para unClúster de Amazon MSK

    Obtención de los agentes de arranque mediante laConsola de administración de AWS1. Open the Amazon MSK console at https://console.aws.amazon.com/msk/.2. La tabla muestra todos los clústeres de la región actual en esta cuenta. Elija el nombre de un clúster

    para ver su descripción.3. En la Resumen del clúster selecciona View client informationEsto muestra los servidores de arranque,

    así como la cadena de conexión Apache ZooKeeper.

    Obtención de los agentes de arranque mediante laAWS CLIEjecute el siguiente comando, reemplazando ClusterArn con el nombre de recurso de Amazon (ARN)que obtuvo al crear el clúster de. Si no tiene el ARN para su clúster, puede encontrarlo enumerandotodos los clústeres. Para obtener más información, consulte the section called “Listado de clústeres de” (p. 21).

    aws kafka get-bootstrap-brokers --cluster-arn ClusterArn

    El resultado de este comando tendrá un aspecto similar al siguiente.

    { "BootstrapBrokerStringTls": "b-3.exampleClusterName.abcde.c2.kafka.us-east-1.amazonaws.com:9094,b-1.exampleClusterName.abcde.c2.kafka.us-east-1.amazonaws.com:9094,b-2.exampleClusterName.abcde.c2.kafka.us-east-1.amazonaws.com:9094"}

    Obtención de los agentes de arranque mediante la APIPara obtener los agentes de arranque utilizando la API, consulte GetBootStrapBroker.

    Listado de clústeres de Amazon MSKListado de clústeres mediante la Consola deadministración de AWS1. Open the Amazon MSK console at https://console.aws.amazon.com/msk/.2. La tabla muestra todos los clústeres de la región actual en esta cuenta. Elija el nombre de un clúster

    para ver sus detalles.

    21

    https://console.aws.amazon.com/msk/https://docs.aws.amazon.com//msk/1.0/apireference/clusters-clusterarn-bootstrap-brokers.html#GetBootstrapBrokershttps://console.aws.amazon.com/msk/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Listado de clústeres mediante la AWS CLI

    Listado de clústeres mediante la AWS CLIEjecute el comando siguiente.

    aws kafka list-clusters

    Listado de clústeres mediante la APIPara enumerar los clústeres que utilizan la API, consulte ListClusters.

    Ampliación del almacenamiento del agentePuede ampliar la cantidad de almacenamiento de EBS por agente. No puede disminuir el almacenamiento.Para aumentar el almacenamiento, espere a que el clúster esté en el estado ACTIVE. Los volúmenes dealmacenamiento siguen estando disponibles durante esta operación de ampliación.

    Ampliación del almacenamiento del agente mediantela Consola de administración de AWS1. Open the Amazon MSK console at https://console.aws.amazon.com/msk/.2. Elija el Clúster de MSK para el que desea actualizar el almacenamiento del agente.3. En la pestaña Almacenamiento selecciona Edit.4. Especifique el volumen de almacenamiento que desee. Solo se puede aumentar la cantidad de

    almacenamiento, no se puede disminuir.5. Elija . Save changes.

    Ampliación del almacenamiento del agente mediantela AWS CLIEjecute el siguiente comando, reemplazando ClusterArn con el nombre de recurso de Amazon (ARN)que obtuvo al crear el clúster de. Si no tiene el ARN para su clúster, puede encontrarlo enumerandotodos los clústeres. Para obtener más información, consulte the section called “Listado de clústeres de” (p. 21).

    Reemplazar Current-Cluster-Version con la versión actual del clúster.Important

    Las versiones de clúster no son enteros simples. Puede obtener la versión actual describiendo elclúster. Un ejemplo de ID de versión es KTVPDKIKX0DER.

    La Target-Volume-in-GiB El parámetro representa la cantidad de almacenamiento que desea quecada agente tenga. Sólo es posible actualizar el almacenamiento para todos los agentes. No puedeespecificar agentes individuales para los que actualizar el almacenamiento. El valor que especifique paraTarget-Volume-in-GiB debe ser un número entero mayor que 100 GiB. El almacenamiento por agentedespués de la operación de actualización no puede exceder los 16384 GiB.

    aws kafka update-broker-storage --cluster-arn ClusterArn --current-version Current-Cluster-Version --target-broker-ebs-volume-info '{"KafkaBrokerNodeId": "All", "VolumeSizeGB": Target-Volume-in-GiB}'

    22

    https://docs.aws.amazon.com//msk/1.0/apireference/clusters.html#ListClustershttps://console.aws.amazon.com/msk/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Ampliación del almacenamiento del agente mediante la API

    Ampliación del almacenamiento del agente mediantela APIPara actualizar un almacenamiento de agente mediante la API, consulte UpdateBrokerStorage.

    Actualización de la configuración de un Clúster deAmazon MSK

    Para actualizar la configuración de un clúster, asegúrese de que el clúster está en el estado ACTIVE.Para obtener información acerca de la configuración de MSK, incluido cómo crear una configuraciónpersonalizada, qué propiedades puede actualizar y qué sucede al actualizar la configuración de un clústerexistente, consulte : Configuration (p. 45).

    Actualización de la configuración de un clústermediante la AWS CLI1. Copie el siguiente JSON y guárdelo en un archivo. Asigne un nombre al archivo configuration-

    info.json. Reemplazar ConfigurationArn con el nombre de recurso de Amazon (ARN) de laconfiguración que desea utilizar para actualizar el clúster. La cadena ARN debe estar entre comillas enel siguiente JSON.

    Reemplazar Configuration-Revision con la revisión de la configuración que desea utilizar. Lasrevisiones de configuración son enteros (números enteros) que comienzan en 1. Este entero no debeestar entre comillas en el siguiente JSON.

    { "Arn": ConfigurationArn, "Revision": Configuration-Revision}

    2. Ejecute el siguiente comando, reemplazando ClusterArn con el ARN que obtuvo al crear el clústerde. Si no tiene el ARN para su clúster, puede encontrarlo enumerando todos los clústeres. Paraobtener más información, consulte the section called “Listado de clústeres de ” (p. 21).

    Reemplazar Path-to-Config-Info-File con la ruta al archivo de información de configuración. Siasignó un nombre al archivo que creó en el paso anterior configuration-info.json y lo guardóen el directorio actual, Path-to-Config-Info-File es configuration-info.json.

    Reemplazar Current-Cluster-Version con la versión actual del clúster.Important

    Las versiones de clúster no son enteros simples. Puede obtener la versión actualdescribiendo el clúster. Un ejemplo de ID de versión es KTVPDKIKX0DER.

    aws kafka update-cluster-configuration --cluster-arn ClusterArn --configuration-info file://Path-to-Config-Info-File --current-version Current-Cluster-Version

    A continuación, se muestra un ejemplo de cómo utilizar este comando.

    aws kafka update-cluster-configuration --cluster-arn "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1" --

    23

    https://docs.aws.amazon.com//msk/1.0/apireference/clusters-clusterarn-nodes-storage.html#UpdateBrokerStorage

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladoresActualización de la configuración

    de un clúster mediante la APIconfiguration-info file://c:\users\tester\msk\configuration-info.json --current-version "K1X5R6FKA87"

    El resultado de este comando update-cluster-configuration tendrá un aspecto similar alsiguiente.

    { "ClusterArn": "arn:aws:kafka:us-east-1:012345678012:cluster/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2", "ClusterOperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef"}

    3. Para obtener el resultado de la update-cluster-configuration operación, ejecute el siguientecomando, reemplazando ClusterOperationArn con el ARN que obtuvo en la salida de la update-cluster-configuration del comando.

    aws kafka describe-cluster-operation --cluster-operation-arn ClusterOperationArn

    El resultado de este comando describe-cluster-operation tendrá un aspecto similar alsiguiente.

    { "ClusterOperationInfo": { "ClientRequestId": "982168a3-939f-11e9-8a62-538df00285db", "ClusterArn": "arn:aws:kafka:us-east-1:012345678012:cluster/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2", "CreationTime": "2019-06-20T21:08:57.735Z", "OperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef", "OperationState": "UPDATE_COMPLETE", "OperationType": "UPDATE_CLUSTER_CONFIGURATION", "SourceClusterInfo": {}, "TargetClusterInfo": { "ConfigurationInfo": { "Arn": "arn:aws:kafka:us-east-1:123456789012:configuration/ExampleConfigurationName/abcdabcd-abcd-1234-abcd-abcd123e8e8e-1", "Revision": 1 } } }}

    En esta salida, OperationType es UPDATE_CLUSTER_CONFIGURATION. Si OperationStatetiene el valor UPDATE_IN_PROGRESS, espere un momento y, a continuación, ejecute el describe-cluster-operation de nuevo.

    Actualización de la configuración de un clústermediante la APIPara crear un clúster mediante la API, vea UpdateClusterConfiguration.

    24

    https://docs.aws.amazon.com//msk/1.0/apireference/clusters-clusterarn-configuration.html#UpdateClusterConfiguration

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Eliminación de la configuración de un clúster

    Eliminación de la configuración de un Clúster deAmazon MSK

    Para eliminar la configuración de un clúster, asegúrese de que el clúster esté en la ACTIVE o bienDELETE_FAILED y la configuración del clúster se encuentra en el campo ACTIVE o bien DELETE_FAILEDel estado. Para obtener información sobre la configuración de MSK, consulte Configuración de AmazonMSK (p. 45).

    Eliminación de la configuración de un clúster mediantela AWS CLI1. Copie el siguiente JSON y guárdelo en un archivo. Asigne un nombre al archivo configuration-

    info.json. Reemplazar ConfigurationArn con el nombre de recurso de Amazon (ARN) de laconfiguración que desea utilizar para eliminar el clúster. La cadena ARN debe estar entre comillas enel siguiente JSON.

    { "Arn": ConfigurationArn}

    2. Ejecute el siguiente comando, reemplazando ClusterArn con el ARN que obtuvo al crear el clústerde. Si no tiene el ARN para su clúster, puede encontrarlo enumerando todos los clústeres. Paraobtener más información, consulte the section called “Listado de clústeres de ” (p. 21).

    Reemplazar Current-Cluster-Version con la versión actual del clúster. Tenga en cuenta queeste parámetro es opcional.

    Important

    Las versiones de clúster no son enteros simples. Puede obtener la versión actualdescribiendo el clúster. Un ejemplo de ID de versión es KTVPDKIKX0DER.

    aws kafka delete-configuration --cluster-arn ClusterArn --current-version Current-Cluster-Version

    A continuación, se muestra un ejemplo de cómo utilizar este comando.

    aws kafka delete-configuration --cluster-arn "arn:aws:kafka:us-east-1:0123456789012:cluster/exampleName/abcd1234-0123-abcd-5678-1234abcd-1" --current-version "K1X5R6FKA87"

    El resultado de este comando delete-configuration tendrá un aspecto similar al siguiente.

    { "state": "DELETING" "Arn": "arn:aws:kafka:us-east-1:012345678012:cluster/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2"}

    25

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladoresEliminación de la configuración

    de un clúster mediante la API de

    Eliminación de la configuración de un clúster mediantela API dePara eliminar una configuración de clúster mediante la API de , consulte EliminarConfiguración.

    Expansión de un Clúster de Amazon MSKUtilice esta operación Amazon MSK cuando desee aumentar el número de agentes en su Clúster de MSK.Para ampliar un clúster, asegúrese de que está en el estado ACTIVE.

    Important

    Si desea expandir un Clúster de MSK, asegúrese de utilizar esta operación de Amazon MSK. Nointente agregar agentes a un clúster sin usar esta operación.

    Para obtener información acerca de cómo volver a equilibrar particiones después de agregar agentes a unclúster, consulte the section called “Reasignar particiones” (p. 99).

    Expansión de un clúster mediante la Consola deadministración de AWS1. Open the Amazon MSK console at https://console.aws.amazon.com/msk/.2. Elija el Clúster de MSK cuyo número de agentes desee aumentar.3. En la página de detalles del clúster, elija la opción Edit situado junto a la Detalles del agente de nivel

    de clúster del encabezado.4. Introduzca el número de agentes que desea que el clúster tenga por zona de disponibilidad y, a

    continuación, elija . Save changes.

    Expansión de un clúster mediante la AWS CLI1. Ejecute el siguiente comando, reemplazando ClusterArn con el nombre de recurso de Amazon

    (ARN) que obtuvo al crear el clúster de. Si no tiene el ARN para su clúster, puede encontrarloenumerando todos los clústeres. Para obtener más información, consulte the section called “Listado declústeres de ” (p. 21).

    Reemplazar Current-Cluster-Version con la versión actual del clúster.

    Important

    Las versiones de clúster no son enteros simples. Puede obtener la versión actualdescribiendo el clúster. Un ejemplo de ID de versión es KTVPDKIKX0DER.

    La Target-Number-of-Brokers El parámetro representa el número total de nodos de agente quedesea que tenga el clúster cuando esta operación se complete correctamente. El valor que especifiquepara Target-Number-of-Brokers debe ser un número entero mayor que el número actual deagentes en el clúster. También debe ser un múltiplo del número de zonas de disponibilidad.

    aws kafka update-broker-count --cluster-arn ClusterArn --current-version Current-Cluster-Version --target-number-of-broker-nodes Target-Number-of-Brokers

    26

    https://docs.aws.amazon.com//msk/1.0/apireference/clusters-clusterarn-configuration.html#DeleteConfigurationhttps://console.aws.amazon.com/msk/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Expansión de un clúster mediante la API

    El resultado de esta operación update-broker-count se parece al siguiente JSON.

    { "ClusterArn": "arn:aws:kafka:us-east-1:012345678012:cluster/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2", "ClusterOperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef"}

    2. Para obtener el resultado de la update-broker-count operación, ejecute el siguiente comando,reemplazando ClusterOperationArn con el ARN que obtuvo en la salida de la update-broker-count del comando.

    aws kafka describe-cluster-operation --cluster-operation-arn ClusterOperationArn

    El resultado de este comando describe-cluster-operation tendrá un aspecto similar alsiguiente.

    { "ClusterOperationInfo": { "ClientRequestId": "c0b7af47-8591-45b5-9c0c-909a1a2c99ea", "ClusterArn": "arn:aws:kafka:us-east-1:012345678012:cluster/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2", "CreationTime": "2019-09-25T23:48:04.794Z", "OperationArn": "arn:aws:kafka:us-east-1:012345678012:cluster-operation/exampleClusterName/abcdefab-1234-abcd-5678-cdef0123ab01-2/0123abcd-abcd-4f7f-1234-9876543210ef", "OperationState": "UPDATE_COMPLETE", "OperationType": "INCREASE_BROKER_COUNT", "SourceClusterInfo": { "NumberOfBrokerNodes": 9 }, "TargetClusterInfo": { "NumberOfBrokerNodes": 12 } }}

    En esta salida, OperationType es INCREASE_BROKER_COUNT. Si OperationState tiene el valorUPDATE_IN_PROGRESS, espere un momento y, a continuación, ejecute el describe-cluster-operation de nuevo.

    Expansión de un clúster mediante la APIPara aumentar el número de agentes en un clúster mediante la API, vea UpdateBrokerCount.

    Monitorización de un Clúster de Amazon MSKAmazon MSK reúne métricas de Apache Kafka y las envía a Amazon CloudWatch donde puede verlas.Para obtener más información acerca de las métricas de Apache Kafka, incluidas las que aparecen en lassuperficies de Amazon MSK, consulte Monitoring en la documentación de Apache Kafka.

    También puede monitorear su Clúster de MSK con Prometheus, una aplicación de monitoreo de códigoabierto. Para obtener información acerca de Prometheus, consulte Overview en la documentación de

    27

    https://docs.aws.amazon.com//msk/1.0/apireference/clusters-clusterarn-nodes-count.html#UpdateBrokerCounthttp://kafka.apache.org/documentation/#monitoringhttps://prometheus.io/docs/introduction/overview/

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladoresNiveles de monitoreo de Amazon

    MSK para métricas de CloudWatchPrometheus. Para obtener información sobre cómo monitorear el clúster con Prometheus, consulte thesection called “Monitoreo abierto con Prometheus” (p. 38).

    Temas• Niveles de monitoreo de Amazon MSK para métricas de CloudWatch (p. 28)• Métricas de Amazon MSK para monitorear con CloudWatch (p. 28)• Visualización de métricas de Amazon MSK mediante CloudWatch (p. 34)• Comprobación de retraso del consumidor con Burrow (p. 35)• Monitoreo abierto con Prometheus (p. 38)

    Niveles de monitoreo de Amazon MSK para métricasde CloudWatchAl crear un Clúster de Amazon MSK, puede definir el potenciaciónmonitorización propiedad a uno de lostres niveles de monitorización: DEFAULT, , PER_BROKER, o PER_TOPIC_PER_BROKER. Las tablas de lasiguiente sección muestran todas las métricas que Amazon MSK pone a su disposición a partir de cadanivel de monitorización.

    Métricas de Amazon MSK para monitorear conCloudWatchAmazon MSK se integra con las métricas de Amazon CloudWatch para recopilar, ver y analizar lasmétricas de CloudWatch para Clúster de Amazon MSK. Las métricas configuradas para Clúster de MSK serecopilan y envían automáticamente a CloudWatch. Las tres tablas siguientes muestran las métricas queestán disponibles en cada uno de los tres niveles de supervisión.

    Monitoreo de nivel DEFAULTLas métricas descritas en la tabla siguiente están disponibles en el nivel de monitorización DEFAULT. Songratis.

    Métricas disponibles en el nivel de monitorización DEFAULT

    Nombre Cuando está visible Dimensiones:Descripción

    ActiveControllerCountDespués de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster

    Sólo debe estar activo en un momentodado un controlador por clúster.

    CpuIdle Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    El porcentaje de tiempo de inactividadde la CPU.

    CpuSystem Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    El porcentaje de CPU en el espacio delkernel.

    CpuUser Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,

    El porcentaje de CPU en el espacio deusuario.

    28

    https://docs.aws.amazon.com/msk/1.0/apireference/clusters.html#clusters-prop-createclusterrequest-enhancedmonitoring

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Métricas de Amazon MSK para monitorear con CloudWatch

    Nombre Cuando está visible Dimensiones:DescripciónID delagente

    GlobalPartitionCountDespués de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster

    Número total de particiones entre todoslos agentes en el clúster.

    GlobalTopicCount Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster

    Número total de temas entre todos losagentes del clúster.

    KafkaAppLogsDiskUsedDespués de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    Porcentaje de espacio en disco utilizadopara los registros de aplicaciones.

    KafkaDataLogsDiskUsed(Cluster Name,Broker IDdimensión)

    Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    Porcentaje de espacio en disco utilizadopara los registros de datos.

    KafkaDataLogsDiskUsed(Cluster Namedimensión)

    Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster

    Porcentaje de espacio en disco utilizadopara los registros de datos.

    MemoryBuffered Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    El tamaño en bytes de memoriaalmacenada en búfer para el agente.

    MemoryCached Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    El tamaño en bytes de memoriaalmacenada en caché para el agente..

    MemoryFree Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    El tamaño en bytes de memoria que estálibre y disponible para el agente.

    MemoryUsed Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    El tamaño en bytes de memoria que estáen uso para el agente.

    NetworkRxDropped Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    El número de paquetes abandonadosdescartados.

    29

  • Amazon Managed Streaming for ApacheKafka Guía para desarrolladores

    Métricas de Amazon MSK para monitorear con CloudWatch

    Nombre Cuando está visible Dimensiones:Descripción

    NetworkRxErrors Después de que elclúster llegue al estadoACTIVE (Activo).

    Nombredelclúster,ID delagente

    El número de errores de recepción de lared para el agent

of 107/107
Amazon Managed Streaming for Apache Kafka Guía para desarrolladores
Embed Size (px)
Recommended