Yapc -asia 2012 lt @studio3104

transcript

Fluentdで、コードを書いてみ

ようかなと思った話

perl歴半年くらいですやさしくしてください

@studio3104

Lightning Talk at YAPC：：Asia 2012

自己紹介

@studio3104 (Satoshi SUZUKI)

-- Perl歴半年くらい

-- WEB業界2年目

-- 妻、娘、息子います

-- ソシャゲ、公式サイト、パチ(スロ)ンコ

-- こんなのやってます →→→→→→→

-- Perlと心中するらしいです

「IT系のエンジニア」「え、SE？プログラマ？」「違う、インフラ系」「え、インフラ？ガス？」

仕事何してるかって聞かれると

インフラエンジニア

インフラ

「インフラ」「え、インフラ？ガス？」

仕事何してるかって聞かれると

インフラエンジニアのプログラミングへの意識

「インフラのエンジニアなんだ

からプログラムなんて書く必

要ないんだよね。」

23歳男性

「とりあえずなんとなくJavaの

入門書買ってひと通りやって

みたけど使い所ないと思って

る。」

24歳男性

「運用に必要で自分で作りた

いと思う処理って、結局シェ

ルスクリプトで間に合っちゃう

んだよね。」

25歳男性

「やっぱりコード書けるように

なりたいので、サービスの管

理画面作ってみようとしたけ

ど挫折した。」

26歳男性

全部

過去のワタシが

思ってたことです

・Munin Plugin

・Nagios Plugin

・Ganglia Plugin

・Zabbix Plugin

・fluent-plugin

運用系エンジニアが

自分で書いて有益であろうもの

・Munin Plugin → なんでもok

・Nagios Plugin → なんでもok

・Ganglia Plugin → pythonだけ？

・Zabbix Plugin → よく知らない

・fluent-plugin → ruby

運用系エンジニアが

自分で書いて有益であろうもの

そこで

out_exec_filter

combined+レスポンスタイムなnginxのログフォーマット

log_format main'$remote_addr - $remote_user

[$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent "$request_time';

普通にFluentdの処理を通すとこうなる

{"host":"192.168.1.4","user":"-","method":"GET","path":"/foo/bar/index.psgi?source=ig&hl=ja&rlz=1G1GGLQ_JAJP314&q=td-agent&oq=td-agent&aq=f&aqi=&aql=&gs_l=igoogle.3...0.0.0.387.0.0.0.0.0.0.0.0..0.0...0.0.","code":"200",size":"0","referer":"-","agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.56 Safari/536.5","response":"0.000"}

{"agent":"Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/536.5 (KHTML, like Gecko) Chrome/19.0.1084.56 Safari/536.5","code":"200","host":"192.168.1.4","method":"GET","path":"/foo/bar/index.psgi","referer":"-","response":"0.000","size":"0","user":"-","query_strings":{"source":"ig","aqi":"","aq":"f","oq":"td-agent","rlz":"1G1GGLQ_JAJP314","hl":"ja","gs_l":"igoogle.3...0.0.0.387.0.0.0.0.0.0.0.0..0.0...0.0.","q":"td-agent","aql":""},}

デモ

1 #!/usr/bin/env perl$ 2 $ 3 use strict;$ 4 use warnings;$ 5 use Data::Dumper;$ 6 use DBIx::Handler;$ 7 use JSON::XS;$ 8 use Data::MessagePack;$ 9 $ 10 $| = 1;$ 11 $ 12 my $mp = Data::MessagePack->new();$ 13 $ 14 my $db_user = "root";$ 15 my $db_passwd = "";$ 16 my $db_opt = { RaiseError => 0, PrintError => 1 };$ 17 my $handler = DBIx::Handler->new( "DBI:mysql:database=information_schema:1 27.0.0.1", $db_user, $db_passwd, $db_opt );$ 18 $ 19 my $db;$ 20 my $long_query_time = $handler->dbh->selectrow_array($ 21 "SELECT VARIABLE_VALUE FROM GLOBAL_VARIABLES WHERE VARIABLE_NAME = 'LONG_Q UERY_TIME'");$ 22 $handler->dbh->do("SELECT SLEEP($long_query_time)");$ 23 $ 24 while ( my $json = <STDIN> ) {$ 25 my $slowlog = eval { decode_json($json); };$ 26 next if ($@);$

MySQL slow_log

MongoDB

27 $ 28 unless ( defined $slowlog->{sql} ) {$ 29 print $mp->pack($slowlog);$ 30 next;$ 31 }$ 32 $ 33 my $select_statement;$ 34 if ( $slowlog->{sql} =~ /(select[^\;]+)/i ) {$ 35 $select_statement = $1;$ 36 }$ 37 $ 38 if ( $slowlog->{sql} =~ /^use ([^\;]+)/i ) {$ 39 $db = '`' . $1 . '`';$ 40 }$ 41 $ 42 if ( defined $db && defined $select_statement ) {$ 43 $handler->dbh->do("use $db");$ 44 my $explains = eval { $handler->dbh->selectall_arrayref( "EXPLAIN $selec t_statement", +{ Slice => {} } ); };$ 45 if ( ref $explains eq 'ARRAY' ) {$ 46 $slowlog->{explain} = $explains;$ 47 $slowlog->{database} = $db;$ 48 }$ 49 }$ 50 $ 51 print $mp->pack($slowlog);$ 52 }$

EXPLAIN

Perl歴

半年未満

Fluentdで、コードを書いてみ

ようかなと思った話

ご清聴ありがとうございました

@studio3104

Lightning Talk at YAPC：：Asia 2012

Yapc -asia 2012 lt @studio3104

Documents