まめログ

Javaプログラマの歩み

第18回Elasticsearch勉強会に参加してきました #elasticsearch

www.meetup.com

新機能の紹介と色々な事例を聞けてとても為になりました。
開催ありがとうございました!

What's new Elastic Stack 5.2 Jun Ohtaniさん

トップバッターはElasticの大谷さん。

Elastic5.1,5.2の新機能とElastic日本法人の説明をしていただきました。
speakerdeck.com


Elasticsearch Serverという本を翻訳しましたが、買わないでください。(古すぎる)

トレーニングはマニュアルは英語だけどエンジニアは日本人で日本語で受けられるとのこと。
上司を説得しましょう。(僕は既にしました。)

Elastic日本チーム

・8人
・オフィス:大手町フィナンシャルシティグランキューブ
・株式会社なのでサポート契約も安心

タスクマネジメントAPI

検索のクエリをキャンセルできるように。

レンジ

数値のレンジを登録できるようになり、クエリでも直接指定できるようになった。
(スケジュールとか宿泊データとかで便利らしい)

keywordとtext

5.0から追加されたkeywordに対して、小文字寄せなどが簡単に。

集計結果のページング

アグリゲーションの集計結果TOP10件などを今まで取っていたが、全件ほしいというニーズがあるため対応。

Kibana

タグクラウド

頻出単語が大きくなったりするやつ。

ヒートマップ

アクロクエストの人が書いてるからそこをみて。
acro-engineer.hatenablog.com

地図のズームレベルが18まで

地図の詳細表示が可能に。
X-Packが必要


Logstash

パーシステントキュー

inputを受け取って、outputする前にLogstashが落ちた時などにもデータの漏れがないように。

input受け取ったら、いったんキューに格納し、outputし終わったらキューから削除。

Beats

Go言語で書かれた軽量シッパー。

CPU使用率、プロセス数など。
Dockerコンテナごとの数字も取れるように。

メタデータ付加

AWSアベイラビリティゾーンなどを付加して投げてられるので、
障害個所の特定に役立つ。

JSON in JSON

JSONの中のJSON文字列もデコードできる。

Heartbeat

死活監視用Beats

x-pack

すべてが有料ではない。登録するだけで使えるものも。

モニタリング

Elasticsearchのモニタリングが可能。

Logstashのモニタリングも可能(5.2~)

pairsでのElasticsearch 小島広樹さん 株式会社エウレカ

www.pairs.lv

ユーザ増えて検索負荷に耐え切れなく。(MySQL)

ユーザ検索などにElasticsearchを使用。

MySQLとElasticsearchのデータってどういう風に同期取ってるんだろと質問しようとしたら、
質問してくれた人がいて、同期バッチとかでやってるらしい。

資料が喪失してしまったらしく、中途半端な形で終わってしまったのは残念でした。

LT1 : タイトル:RettyのElasticsearchの使い方 李晟圭(イ・ソンギュ)さん Retty株式会社

Retty:実名グルメサービス
retty.me

ログ解析
データ検索に使用しているの事。

ビジュアライズしていると説明しやすい。
エンジニアだけならログだけでもなんとかなっても、ディレクターなどにグラフを見せると話が早い。

LT2 : タイトル:Elasticsearch 5.2とJava Clientで戯れる森谷 大輔さん ヤフー株式会社

www.slideshare.net

1M メッセージ/s

Elasticsearchはログ可視化で使用中。

Logstashとかで頑張るより、Javaでやっときゃ何でもできるだろっていう考え。
Java Clientが使いやすい感じでした。
Elastic Stack使うとコード書く機会がなくなっちゃうので、コード書きたい人にはいい選択かもしれない。

LT3 : タイトル:Amazon Elasticsearch Serviceを使ってコンテンツ検索を速くした話中村真一郎 さん 株式会社ヒトメディア

珍しいAmazon Elasticsearch Serviceを使った事例。
Elastic CloudとAmazonがやってるサービスは違うんですよと大谷さんも強調されていたので、何か溝があるのでしょうか。

今確認したら、5.1が選択できるようになってました。

f:id:mamepika:20170221000055p:plain


Elastic Stackをどのように適用するのか、どのように運用していくのかっていう情報が不足しているのかなーと感じました。
自分でも色々試して、トライアンドエラーでノウハウ積んでいくしかないですね。
いつかコミュニティに情報発信で貢献できるようにしたいものです。