+ All Categories
Home > Technology > Eugene Istomin - Event-driven Service Discovery

Eugene Istomin - Event-driven Service Discovery

Date post: 28-Jan-2018
Category:
Upload: zabbix
View: 778 times
Download: 1 times
Share this document with a friend
61
1
Transcript

1

PreMy timing starting from 20:00 11.09

20:00 – 24:00 – awesome party

24:00 – 02:00 – awesome Riga 

peoples

PreMy timing starting from 20:00 11.09

20:00 – 24:00 – awesome party

24:00 – 02:00 – awesome Riga 

peoples

07:21 – first critical SMS from zabbix...a than ­ help ops & devs

Thanks to Zabbix team! =)

What I would tell you if I had had only technical knowledge:

What I would tell you if I had had only technical knowledge:

Event­drivenService discovery1

or

What I would tell you if I had had only technical knowledge:

Event­drivenService discovery

[email protected] IstominIT Architect Cone Center,Tallinn

“receive, parse and store

multitude of servers/services/data­flows,

metrics, logs and actions in order to have an 

Mesos\Consul\etcd­like service register & discovery” 

1

Or may be from the business point of view:

Or may be from the business point of view:

Business continuity

and the value delivery

2

or

Or may be from the business point of view:

Business continuity

and the value delivery

[email protected] IstominIT Architect Cone Center,Tallinn

“what is the real cost ofresilience, recovery and contingency”

“risk management on steroids for 6­sigma value delivery” 

2

The knowledge artifact I have now is about the logitoring lifecycle:

Architecture­drivenlogitoring lifecycle

The knowledge artifact I have now is about the logitoring lifecycle:

or

the meaning of “logitoring” in architecture­driven logitoring lifecycle

Architecture­drivenlogitoring lifecycle

[email protected] IstominIT Architect Cone Center,Tallinn

“please, no more another ugly DevOps logging and monitoring pattern”

The knowledge artifact I have now is about the logitoring lifecycle:

Logging & monitoring 

or logitoring

Do the data in monitoring have

“Time­machine to the 

Zabbix Conference 2014”

the same nature as data in logging?

Background to

14

What is the classical monitoring metric?

Numeric! (int/bool/etc)

IT Monitoring ­  sum of methods used to collect defined metrics using checks.

Monitoring ~ protocol/agent, desired data descr, centralized storage, notifications

= Reactive

Logitoring (Z­conf 2014)

15

Monitoring is usually used for:

● Servers status dashboard creation● IT­administrators notification● Numeric info visualization● IT­inventory

Monitoring In brief:

● Schema­based● Use common network protocols 

or agents● Stored data not reusable● Needs by IT eng./admins

Logitoring (Z­conf 2014)

16

What is the classicallogs metric?

String!

IT Logging ­  sum of methods used to collect pass­through flows information.

Logs ~ syslog, pid/severity/ program, transport, centralized storage.

= Proactive

Logitoring (Z­conf 2014)

17

Logging is usually used for:

● Problem resolving● Debugging & development

Logging In brief:

● Schema­less● Use syslog or API/REST● Stored data are reusable● Needs by developers

● Security access violation events storage

Logitoring (Z­conf 2014)

18

Do the data in monitoring have the same nature as data in logging?

Yes,● Monitoring and logging are subsets of 

events● Monitoring is mainly reactive ● Logging is mainly proactive 

Events is a set includes all possible types of messages

 (monitoring, logging, JSON data exchange by HTTP or TCP, etc)

Logitoring (Z­conf 2014)

Background to

enterprise architecture

and systems engineering

What is the #enterprise architecture ?

“Complexity is not an objective factor but a 

subjective one.”

What is the #enterprise architecture ?

A well­defined practice for conducting enterprise

●  analysis●  design●  planning●  implementation

What is the #enterprise architecture ?

A well­defined practice for conducting enterprise

for the successful development and execution of strategy.

●  analysis●  design●  planning●  implementation

using a holistic approach at all times

enterprise architecture

“If we want to solve problems effectively...we 

must keep in mind not only many features 

but also the influences among them”

and systems engineering

What is the #systems engineering ?

Background to

What is the #systems engineering ?

systems engineering isnot engineering

What is the #systems engineering ?

systems engineering isnot engineering

What?

What is the #systems engineering ?

SE is a technique of using knowledge

from various branches

 of engineering and science

What is the #systems engineering ?

SE is a technique of using knowledge

from various branches

 of engineering and science

to introduce

 technological innovations into theplanning and development stages of a system.

Business Process of TOGAF

Business Process of TOGAF

...process is not that simple as appears in the TOGAF 

diagram even with flattened iterations.

enterprise architecture

“TOGAF provides a best practice framework for adding value, 

and enables the organization to build workable and economic 

solutions which address their business issues and needs.”

and systems engineering

Background to

What is the #maturity model forenterprise architecture ?

5 levels and :Administration – Governance Roles & Responsibilities

Planning – EA  program road map and implementation plan

Framework ­ ..

Blueprint ­ ..

Communication ­ ..

Compliance ­ ..

Integration ­ ..

Involvement ­ ..

Planning – EA  program road map and implementation plan

What is the #maturity model forenterprise architecture ?

5 levels and :Administration – Governance Roles & Responsibilities

Planning – EA  program road map and implementation plan

Framework ­ ..

Blueprint ­ ..

Communication ­ ..

Compliance ­ ..

Integration ­ ..

Involvement ­ ..EA level 0

What is the #maturity model forenterprise architecture ?

5 levels and :

No rules at all =)

EA level 0

Administration – Governance Roles & Responsibilities

Planning – EA  program road map and implementation plan

Framework ­ ..

Blueprint ­ ..

Communication ­ ..

Compliance ­ ..

Integration ­ ..

Involvement ­ ..

What is the #maturity model forenterprise architecture ?

5 levels and :

… Captured metrics are used to identify inefficiencies in 

EA processes and templates prior to notification of issues  

EA level 5

Administration – Governance Roles & Responsibilities

Planning – EA  program road map and implementation plan

Framework ­ ..

Blueprint ­ ..

Communication ­ ..

Compliance ­ ..

Integration ­ ..

Involvement ­ ..

What is the #maturity model forenterprise architecture ?

What we have in real IT?Just a some template without a common sense.

enterprise architecture

Layers:• Business & Information 

• Application & Data

• Technical Infrastructure 

and systems engineering

Let's talk about #Archimate modelling

Background to

 open and independent modelling language

Let's talk about #Archimate modelling

Archimate

for enterprise architecture

instruments to enable enterprise architects to describe, analyze 

and visualize the relationships among business domains

ArchiMate provides 

37

Let's talk about Archimate modeling

From SSH/Zabbix on the right side to application functions on the left side

Real Archimate scheme 

“The matter of logitoring

Logitoring

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

What is wrong with monitoring & logging now?

39

Problems in Communication Between Popular IT Frameworks

https://troikka.wordpress.com/

Colour represent the way thinks:

Green – CIO Gray ­ Enterprise Architects

Blue – PMO Orange – IT service production

“I  been introduced to multiple

different IT frameworks ... 

but they all failed to capture the whole picture.”

40

Hardware resources & networks

HW abstraction (virtualization, domU OS)

   System runtime(coreos, Containers)

Application servers

App services  (dev code)

Resources

Flows

What's wrong: “rich” vs “clear”

7

Events 

getting 

“richer”

from

Dev

POV

Events 

getting 

“clear”

from

Ops

 POV

What is wrong with monitoring & logging now?

The game )

The game )We need a three persons:

1) Technical one2) Action­man

3) An Architect

What is wrong with monitoring & logging now?

Beep – beep – beeeep... moving to the future

The game )We need a three persons:

1) Technical one2) Action­man

3) An Architect

Time mashine moving us to  2025

Please describe a successful

The game )We need a three persons:

1) Technical one2) Action­man

3) An Architect

In 2025

monitoring­like solutuion1)

The questions from 2025

How we will use monitoring­like

The game )We need a three persons:

1) Technical one2) Action­man

3) An Architect

In 2025

solutions in 2025?2)

The questions from 2025

Describe a value of monitoring­like

The game )We need a three persons:

1) Technical one2) Action­man

3) An Architect

In 2025

solutions for end users/IT/business3)

The questions from 2025

What is wrong with monitoring & logging now?

The game )

“The matter of logitoring

What is #architecture­driven 

Logitoring

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

logitoring lifecycle?

“The matter of logitoring

Logitoring

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

Best practices: 

(systemd integration as example)

1) self­reported status

“The matter of logitoring

Best practices: 

Logitoring

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

(erlang zabbix sender as example)

1) self­reported status

“The matter of logitoring

Logitoring

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

Best practices: 

(haproxy syslog as example)

1) self­reported status

“The matter of logitoring

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

Best practices: 

(exim syslog as example)

1) self­reported status

Logitoring

“The matter of logitoring

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

Best practices: 

(Zabbix LLD as example)

2) dynamic items

Logitoring

“The matter of logitoring

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

Best practices: 

(Elasticsearch & Kibana4 as example)

2) dynamic items

Logitoring

“The matter of logitoring

How we can integrate Archi­schemes in Zabbix?

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

(maps)

Logitoring

“The matter of logitoring

How we can integrate Archi­schemes in Zabbix?

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

(item/trigger source)

Logitoring

“The matter of logitoring

How we can use Archi­schemes as 

Architecture­driven

logitoring lifecycle

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

CMDB/Service Registration ?

Logitoring

What I'm speaking about last 20 minutes?

The message

“The matter of logitoring

the successful monitoring­like solutuion 

We need to cooperate

In order to build up

is events/facts provision 

to all infrastructure levels.

There are no “logging” or “monitoring” terms anymore ­

Both are just the functions of the event provision engine”

reflecting our real business value

The message

or

the meaning of “logitoring” in architecture­driven logitoring lifecycle

Architecture­drivenlogitoring lifecycle

“please, no more another ugly DevOps logging and monitoring pattern”

Thanks!

[ please relax, take a deep breath

and feel free to speak about :]

or

the meaning of “logitoring” in architecture­driven logitoring lifecycle

Architecture­drivenlogitoring lifecycle

[email protected] IstominIT Architect Cone Center,Tallinn

“please, no more another ugly DevOps logging and monitoring pattern”

Thanks!


Recommended