Elastic{on} Tour Tokyo 2017に参加しました #elasticon
2017年12月14日 10:00～18:00に虎ノ門ヒルズで開催された、
Elastic{on} Tour Tokyo 2017に参加しました。
今年から有料イベントになりましたが、参加費の11000円は会社に負担してもらいました。
Elastic Stackは現在社内でも絶賛稼働中で、今年中に有料サブスクリプションの契約をするので、
その下調べを兼ねてという体です。
コーヒーと紅茶、お菓子が用意されており、コーヒー3杯くらい頂きました！
クッキーも大変美味しかったです。
お弁当は今半の高級そうなやつでこれもまた美味。
基調講演
日本法人のカントリーマネージャーの方のお話。
日本チームは11人
取引先は100社を超えるとのこと。
今年中にうちも契約しますー！
CEOのShay Banonsさんからの講演ではこれからの予定など。
セキュリティアナリティクス
- SIEM
アプリケーションのログ可視化だけでなく、SIEMとしてもElastic Stack活用していきたいので、
ここの機能が強化されるのは嬉しい限りです。
Machine Learning
Elasticsearch: Past,Present,&Future
日本のエバンジェリスト大谷さんのプレゼン。
1系、2系を使ってる人？という質問にパラパラと手が挙がってました。
5や6を使ってほしいとのことですｗ
Elasticsearch 5.0
2016/10リリース
2から5へ。
全てのプロダクトのバージョン番号を統一
数値に関する改善
- metricbeatなどで数値データをElasticseachに送ることが増えた。
- 数値の計算を高速化、使用ヒープを削減
安全第一
- bootstrapチェック
起動時に設定値を確認し、設定が正しくない場合は起動ができない。
ヒープサイズの最小値、最大値が異なる場合など
- OOMを極力出さない
より簡単に
- Injest Node
Beatsから可視化するのが簡単に
Elasitcsearch 5.6
2017/9リリース
様々な改善
Elastic 6.0
悩みのタネ
- ディスクの使用量
空白が多いデータも配列で一括で保持していたが。データの持ち方が変わった
5.Xの60％程度に圧縮可能に。
allフィールドをデフォルトで向こうに
各種データ登録に効果的な設定
- 堅牢性やリカバリ
トランザクションログという一意な番号を保持し、そのログをもとに復旧させる。
- メジャーバージョンアップグレード
5.6.Xから6.latestへはローリングアップグレードが可能
Java high level REST Client
5.6でリリース
JavaのClientとElasticsearchのバージョンが違っても検索可能
CRUD&Searchをサポート
Elasticsearch6.1
2017/12/14 リリース
Index Splitting
Composite Aggregation
Adaptive Replica Selection
Scripted Similarities
Ingest and the Elastic Stack
Aaron Mildensteinさん。
Multiple Pipeline
設定を個別に記述できるように
ユースケース
ロギング
- システム、ウェブサービス、キュー
メトリクス
- インフラ、コンテナ、データベース
セキュリティ
- SecOps
Kibana Deep Dive
アラート
Setting -> Wathcer
アクセス制御
ユーザロール追加
kibana dashboard only user
Spaces
ユーザやグループで閲覧、操作制御できたが
インデックスパターン、ダッシュボード単位などで制御が可能に。
SAML認証
サードパーティの認証プロバイダとの連携でSSOを実現
Saved Object API
ダッシュボード、ヴィジュアライゼーションなどをAPI経由で保存可能
Kibanaはログ可視化のツールだけでなく、Elastic Stackの管理画面としての機能も提供していくイメージですね。
Machine Learning Deep Dive
Rules Don't Scale
- where do you set the thereshold
- who updates the Rules
- Flase positives are costly
・ダッシュボードから人の目で見て異常値を検知するのは難しい
・異常のしきい値もどの程度の値を設定すれば良いかを人が決めていくのは難しい
・常にデータは変化していくので一度きめたしきい値がずっと有効とは限らない
そこで機械学習を活用していく
2つの異常値を検知できる
これまでとは違う変化
他とは違う突出した変化
LINE infra Security Log Platform And Analysis
セキュリティ用途でのElastic Stackの活用事例
とにかくシステム規模が半端ない！
後半は英語だったので雰囲気しか掴めませんでしたｗ
40以上のログを30000以上のデータソース
一日1TB！
ログのロスト、Elasticsearchのフリーズ、Kibanaのパフォーマンスダウンなど問題が顕在化
システム名：Monolith
Fluentd->Logstash
kafka
有料オプションを契約。
コレクター4台
パーサー5台
Elasticsearch20台
Kibana3台
リモートデスクトップ接続
SSH接続
などの状況を可視化
ダッシュボードを見るのは人の目。人の目には限界がある。
分析・検知は自動化したい。
そこでMachine Learning
普段使われてないPC、普段使用していないユーザからのリモートデスクトップ接続を検知できる。
アラートの精度が上がった。
KibanaのWebhookでLINEに連携
LINEを使う理由は
1. 夜でも担当者に連絡ができる
2. 休日でも担当者に連絡ができる
ソフトバンク・ペイメント・サービス 決済サービスの監視を支えるElastic Stack
私的に本日メインの発表。
同じサービスを提供している会社の事例は貴重です。
誰にでも見やすいダッシュボード、障害検知の仕組み、
機械学習の検証から実践まで惜しみなく事例を紹介していただき、ありがとうございます。
オンライン決済サービスの監視
年間取扱高2兆1949億
トランザクション2億件
障害発生時に状況を素早く共有できていなかった。
システム部門-営業部門-加盟店
システムも営業も
「システムの状況をリアルタイムに把握したい」
Kibanaで「サービズ全体の状況をリアルタイムで可視化」
RDBに決済情報が格納されているので、
Logstash jdbc input pluginを1分間隔で実行しElasticsearchに投入
ダッシュボードを作り際に意識したこと
誰でも
どこでも
いつでも
決済手段ごと
OK・NGの比率
色を統一
職場のモニタに常時ダッシュボードを表示
KibanaのダッシュボードをSleniumとJnekinsでスクショ取ってSlackに通知
Machine Learning
毎月1日は与信枠開放の影響でトランザクションが増える。最初は検知していたが、4ヶ月目くらいから検知しなくなった。
対象加盟店のみで絞れば気づけるが、加盟店全体で見ると不正アクセスのNGが埋もれてしまう
障害時はほぼ検知
可視化しても人間では見つけられない埋没した情報も検知可能
気づき
母数の少ない決済手段の場合、1人のユーザが数回エラーを起こすだけで以上検知されてしまう
同じ周期で不正利用によるリクエストが来た場合、3周忌目くらいから学習され反応しなくなってしまう
Watcher JSONの設定が難しい つらい
ビジネスデータの可視化
ヒートマップで営業担当の目標達成率を可視化
VELTRA 問い合わせ業務の自動化
日・中・英の問い合わせメールを自動ラベリング
システム名はイーグル
コンサルタントの稼働を減らしてエンジニアの稼働が増えては意味が無いので、Elastic Cloudを採用。
Elastic Stackの進化は凄まじく、追随していくだけでも難しいですが、
コミュニティがどんどん広がって情報共有が進むと、この辺が楽になると思うので、今後の発展に期待しています。
僕も本番稼働させたら事例の共有などしたいと考えています。
JJUG CCC 2017 Fallに運営で参加してきた #jjug_ccc
2017年11月18日にJJUG CCC 2017 Fallが開催され運営側として参加してきました。
今回は主にカメラマンを担当しました！
混雑緩和
今回のイベントでは、上記のページにもある通り混雑緩和が一つのテーマでした。
その為、各セッションの部屋の入り口・出口を一つにし、
通路も一方通行にする施策を取ってみました。
結果としては、これがかなり功を奏し、身動きできないような混雑は起きず、
セッション間の移動もスムーズに行われていました！
協力してくれた参加者の皆さん、ありがとうございました！
アンケートでも一方通行は好評でした。
写真撮影
海外のイベントなどでは写真が多く撮られており、参加していない人にもイベントのイメージがつきやすいので
今回はボランティアの方と2人で写真撮影を行いました。
登壇者の皆さんには個別に連絡が行くかと思います。
ストロボ使用について
セッション中は前方にスライドが投影される関係上、部屋が暗くなっており撮影の為ストロボを使用しておりました。
ストロボが不快な方もいるので、なるべくカメラの設定などでストロボが不要なようにします。
JJUG CCCは2018年春にも開催予定です。
皆さん奮ってご参加ください。
Spring Fest 2017に参加しました
だいぶ日が経ってしまいましたがレポ。
2017年11月24日に開催された「Spring Fest2017」に参加しました。
springfest2017.springframework.jp
午前中は健康診断とかぶってしまい、午後からの参加になってしまいましたが、
濃密なセッションを聞くことが出来、大変有意義なイベントでした。
Spring Security 5 解剖速報
業務アプリケーションを開発する際、切っても切れないのがセキュリティですね。
Spring Securityの情報を聞きたかったので参加。
www.slideshare.net
かなり深いところまで説明してくださっていたので、参考になりました。
認証・認可の具体的な実装方法は、手を動かしてみないとなー。
ドメイン駆動設計のためのSpringの上手な使い方
みんな大好きDDD。
DDDの第一人者である増田さんのセッションを聞かずにはおれない。
www.slideshare.net
感想としてはDDDの概要説明より、実際にSpringでどのように実装してくかを説明してほしかったな～と。
日本一やさしく説明する予定のマイクロサービス入門
マイクロサービスアーキテクチャがオブジェクト指向と同じ説明が出来るっていうのは面白かったです。
何度も発表前に念を押されたとおり、初心者向けでした。
www.slideshare.net
Spring エンジニアが理解すべきフロントエンド入門 - Angular編
Springでサーバサイド作ったとしても、フロントエンドはどうすればいいんだということで気になっていたAngularのセッションを聴講。
Angularの概要説明で、実際のサーバサイドとの連携方法などは無かったので、
手を動かせってことですね。
Docker for Windows でElasticsearch5.5,Kibana 5.5を動かしてみる #elasticsearch
Elastic Stack 5.5が先週リリースされました！
Elastic Stack 5.5.0リリース | Elastic
今回はDocker上でElasticsearch、Kibanaを動作させてみました。
Dockerがいまいちわかってないので手順に誤りなどあるかもしれませんが、
誤りについてはご指摘頂けると幸いです。
DockerのElasticsearchコンテナを複数立てて、クラスター組みたかったんですが、
Dockerよくわかっておらず、そこまで出来ないまま月曜になってしまいました。
コンテナごとの細かい設定をどこで反映させるかもわからず、ただ動かすだけになってます。
環境は以下の通り。
OS：Windows10 Pro
CPU:Core i7 4790K
Mem:32GB
Docker for Windowsのインストール
WindowsでDockerを動かすために、Docker for Windowsというソフトをインストールします。
以下のURLからダウンロードできます。
docs.docker.com
Elasticsearch用Dockerコンテナの実行
まず、Elasticsearchを動作させるため、Powershellで以下のコマンドを入力します
docker run -p 9201:9200 -e "http.host=0.0.0.0" -e "transport.host=127.0.0.1" docker.elastic.co/elasticsearch/elasticsearch:5.5.0
Elasticsearchの動作確認
Webブラウザで「http://localhost:9201」にアクセスします。
X-Packが有効になっているため、認証が必要になりますが、
USER:elastic
PASS:changemeでログイン可能です。
以下のように、JSON形式でElasticsearchの状態が帰ってくれば動作しています。
Kitematicの導入
GUIでDockerコンテナの設定などが行えるKitematicというツールを導入します。
タスクトレイにあるDocker for Windowsのアイコンを右クリックし表示されるコンテキストメニューから
「Kitematic」をクリックします。
Zipファイルがダウンロードできるので、中のexeファイルを実行すればOKです。
次回以降、Docker for Windowsのコンテキストメニューから実行させるためには、
C:\Program Files\Dockerの配下に、解凍したフォルダを「Kitematic」にリネームして配置すればOKです。
実行すると以下のようにElasticsearchのコンテナが表示されているはずです。
※コンテナ名を分かりやすいようにリネームしています。
Kibana用Dockerコンテナの実行
Kibanaを動作させるため、Powershellで以下のコマンドを入力します
docker run -it --rm -p 5601:5601 docker.elastic.co/kibana/kibana:5.5.0
Kitematic上でコンテナが確認できます。
Elasticsearchのコンテナに接続する
Kitematic上でElasticsearchのコンテナに接続するように設定します。
右上の「Setting」⇒「Network」をクリックします。
表示されたLinksでコンテナを選択します。
選択したら、名前も入力して＋ボタンをクリックします。
Kibanaにアクセスする
以下のように認証画面が表示されれば成功です。
USER:elastic
PASS:changemeでログインできます
Versionの確認
X-Packが有効なので、左のメニューが多めに表示されていますね。
index name patternを指定しないと画面にエラーが表示されるので、「.kibana」を指定してエラーを消しています。
Monitoringで確認するとElasticsearchのVersionが5.5.0になってますね！
クラスターのステータスがyellowなのはノードが一つで、冗長構成になってないからかな。
Managementで確認するとKibanaもきちんと5.5.0です。
filterのGUIによる設定
filterの設定をクエリを書かずとも、GUIでクリックだけで設定できるようになりました。
Kibana5.5の新機能は以下にまとめられているので詳しくは以下を参照してください！
acro-engineer.hatenablog.com
およそ2か月に一回のペースでバージョンアップがされて、
ますます便利になるElastic Stackから目が離せません。
特にMachine Learningは注目です。
Elasticsearch,Kibanaを5.2から5.4にアップグレードしてみた #elasticsearch
今年の初めに検証環境として用意して色々と試していたのが、Elastic Stack5.2だったので、
5.5リリースも直前というこの時期に5.4にしてみましたｗ
調べてもアップグレード方法が分からなかったのですが、簡単すぎるからわざわざ書いてないのかってくらいの簡単さでした。
特に無停止とかを意識していない環境なので、何の問題もなくさくっと出来ました。
環境は以下の通り。
EC2インスタンスサイズ:t2.medium
OS：Amazon Linux
Java : Oracle JDK 8u121
Elasticsearchを5.4にアップグレードする
yumインストールではなく、rpmパッケージからのアップグレードで実施しました。
rpmパッケージのダウンロード
$ sudo wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-5.4.3.rpm
Kiabnaを5.4にアップグレードする
Elasticsearch同様にrpmパッケージよりアップグレード。
$ sudo wget https://artifacts.elastic.co/downloads/kibana/kibana-5.4.3-x86_64.rpm
DLしたrpmパッケージを使ってアップグレード
$ sudo rpm -Uvh kibana-5.4.3-x86_64.rpm
以下のようなメッセージが出て完了。
Kibanaにアクセスして,ManagementメニューからVersionを確認してみると、
5.4.3になってます！
Visualizeの追加画面も新しくなってますね
Visual Builderも。
2周くらい周回遅れになってますが、新機能は来週試してみます！！
『Java本格入門』を読みました #アクロ本 #Java本格入門
JJUG幹事会でいつもお世話になってる@cero_tさんが書いた本ということで、先行販売でゲットしてきました。
結論から先に言っちゃうと、Java書いてアプリ作ってる人には全員にお勧めできます。
自分はJavaﾁｮｯﾄﾃﾞｷﾙという人でも、PJに関わる人全員がそうとは限りませんし、
入門者からベテランまで「気づき」のある本だと思います。
gihyo.jp
誤記とか修正点は以下のページを。
裏テーマが「35歳からのJava入門」ということでしたが、31歳の私にもズバリ効きました。
中でも、本になっていって嬉しかったのは。Chapter2の「2-4 名前の付け方に注意する」の部分です。
変数は名詞、メソッドは動詞や「不吉な臭い」をPJメンバーで共有できる足がかりを作ってくれたのには本当にありがたいところです。
こういった些細なんだけど、実際にコードを書く際に影響が大きいところが「本になっている」と
偉い人にも説明がしやすく、書き換えの時間を確保できることにつながりますし、
それがプロダクトの品質につながるので大きいんですよね。
『極める』と『たしなむ』
本書の目次を読むと、極められるものとたしなむだけのものがあることが分かります。
第19回Elasticsearch勉強会に参加しました #elasticsearchjp
ちょっとと遅くなりましたが、勉強会の参加レポ。
3月にサンフランシスコで行われたElastic{ON} 2017のフィードバックイベントだったので、仕事そっちのけで参加しました。
Elastic{ON} Re-cap
Jun Ohtani @ Elastic
日本からの参加者は50名程度
日本からスポンサーとして日立が参加。
ASK ME ANYTHING
Elasticのエンジニアに直接聞けるブース。常にエンジニアが数人立っている。
質問リスト持ってきてガッツリ質問してる人もいたり。
ご飯
ご飯も売り。
フードトラックが来る。
Filebeat Modules
5.3から。
今まではFilebeat1行1データでパースはLogstashを使う必要があった。
- Elasticsearchだけでインデックスに入れる前の前処理を書くことができる。
⇒ingest node
- moduleはそれを使用しているので、Filebeatがログをパースしているわけではない。
Time Series Visual Builder
Kibana 5.4から
メーターのVisualizeなどが追加。
今Timelionでやっている複雑なグラフもKibanaで行える。
Elastic Cloud Enterprise
AWS上でElastic Cloudで自動化しているがオンプレ環境でも出来るようになる。
GCPでも使える。
インフラエンジニアがおらず、プライベートクラウド使ってる弊社では、ECE使うのが一番楽そうなので、早く情報が欲しいところです。
Elasticsearch SQL
Coming soon
トランザクションは元々そういう概念が無いのでサポートするつもりはない。
提供方式は未定だが、今のところX-Packで行う予定。無償・有償は分からない。
GW中に来るかもと言われていたElastic Stack5.4がほんとにきちゃったので、
https://www.elastic.co/blog/elastic-stack-5-4-0-released
Machine Learningとか新しいKibanaの機能とか早く試していかないとですね。
