第18回Elasticsearch勉強会に参加してきました #elasticsearch
新機能の紹介と色々な事例を聞けてとても為になりました。
開催ありがとうございました！
What's new Elastic Stack 5.2 Jun Ohtaniさん
トップバッターはElasticの大谷さん。
Elastic5.1,5.2の新機能とElastic日本法人の説明をしていただきました。
speakerdeck.com
Elasticsearch Serverという本を翻訳しましたが、買わないでください。(古すぎる)
トレーニングはマニュアルは英語だけどエンジニアは日本人で日本語で受けられるとのこと。
上司を説得しましょう。(僕は既にしました。)
Elastic日本チーム
・8人
・オフィス：大手町フィナンシャルシティグランキューブ
・株式会社なのでサポート契約も安心
タスクマネジメントAPI
検索のクエリをキャンセルできるように。
レンジ
数値のレンジを登録できるようになり、クエリでも直接指定できるようになった。
(スケジュールとか宿泊データとかで便利らしい)
keywordとtext
5.0から追加されたkeywordに対して、小文字寄せなどが簡単に。
集計結果のページング
アグリゲーションの集計結果TOP10件などを今まで取っていたが、全件ほしいというニーズがあるため対応。
Kibana
タグクラウド
頻出単語が大きくなったりするやつ。
ヒートマップ
アクロクエストの人が書いてるからそこをみて。
acro-engineer.hatenablog.com
地図のズームレベルが18まで
地図の詳細表示が可能に。
X-Packが必要
Logstash
パーシステントキュー
inputを受け取って、outputする前にLogstashが落ちた時などにもデータの漏れがないように。
input受け取ったら、いったんキューに格納し、outputし終わったらキューから削除。
x-pack
すべてが有料ではない。登録するだけで使えるものも。
モニタリング
Elasticsearchのモニタリングが可能。
Logstashのモニタリングも可能(5.2～)
pairsでのElasticsearch 小島広樹さん 株式会社エウレカ
ユーザ増えて検索負荷に耐え切れなく。(MySQL)
ユーザ検索などにElasticsearchを使用。
MySQLとElasticsearchのデータってどういう風に同期取ってるんだろと質問しようとしたら、
質問してくれた人がいて、同期バッチとかでやってるらしい。
資料が喪失してしまったらしく、中途半端な形で終わってしまったのは残念でした。
LT1 : タイトル：RettyのElasticsearchの使い方 李晟圭(イ・ソンギュ)さん Retty株式会社
Retty：実名グルメサービス
retty.me
ログ解析
データ検索に使用しているの事。
ビジュアライズしていると説明しやすい。
エンジニアだけならログだけでもなんとかなっても、ディレクターなどにグラフを見せると話が早い。
LT2 : タイトル：Elasticsearch 5.2とJava Clientで戯れる森谷 大輔さん ヤフー株式会社
www.slideshare.net
1M メッセージ/s
Elasticsearchはログ可視化で使用中。
Logstashとかで頑張るより、Javaでやっときゃ何でもできるだろっていう考え。
Java Clientが使いやすい感じでした。
Elastic Stack使うとコード書く機会がなくなっちゃうので、コード書きたい人にはいい選択かもしれない。
LT3 : タイトル：Amazon Elasticsearch Serviceを使ってコンテンツ検索を速くした話中村真一郎 さん 株式会社ヒトメディア
珍しいAmazon Elasticsearch Serviceを使った事例。
Elastic CloudとAmazonがやってるサービスは違うんですよと大谷さんも強調されていたので、何か溝があるのでしょうか。
今確認したら、5.1が選択できるようになってました。
Elastic Stackをどのように適用するのか、どのように運用していくのかっていう情報が不足しているのかなーと感じました。
自分でも色々試して、トライアンドエラーでノウハウ積んでいくしかないですね。
いつかコミュニティに情報発信で貢献できるようにしたいものです。
『簡単、クレカ決済！ PAY.JPを使ったクレカ決済の仕組み・開発運用時の考慮点について』に参加してきました
資料はこれ。
www.slideshare.net
決済システムの保守をやっているので、決済システムを使う側の人はどのように実装・保守をやってるのか気になって参加してきました。
クレジットカードのデータを自社で保有すると、PCI DSSの取得が必要になります。
保有を含めて、以下の3つを自社サーバでやる場合はPCIDSS準拠が必要になるため、
PAY.JPのようなECサイト事業者などがカード番号を保有せずに決済が行える仕組みが必要になってきました。
「保存」
DBなどストレージに保存してはいけない。
「処理」
アプリケーション内で処理をしてはいけない。(ログに吐かれる可能性があるため)
「通過」
ネットワークを通過させない。
決済システムってほとんどのシステムで必要な機能なのに、あまり実例が報告されないのでこういう機会は貴重ですね。
貴重な機会をありがとうございました。
Elastic Stack5.2でMetricbeatのダッシュボードを作って可視化してみた #elasticsearch
AWSを仕事で触れるようになって、色々試し始めてるので備忘録的に記載します。
Elastic Stackは、現在の業務を飛躍的に楽にしてくれると期待しているので、
社内でステマしまくって、何とか来期予算を少しだけ確保できましたので、
みっちり触っていこうと思ってます。
殆ど以下の記事を参考にしました。
acro-engineer.hatenablog.com
LogstashやBeatsで色んなサーバからログを集約して、Kibanaで一元的に可視化する方法とか
まだ全然わかってませんが、大事な1歩です。
↓これ。
Open JDKのアンインストール
Amazon Linuxには初期状態でOpenJDK7がインストールされているので、
Oracle JDK8にアップデートします。(Open JDK8でも問題ありません)
$ sudo yum remove -y java
Oracle JDKのインストール
Oracle JDKは以下のURLからあらかじめDLし、SCPでEC2インスタンスに転送しました。
この後出てくる各種インストーラも同じです。
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
$ rpm -ivh jdk-8u121-linux-x64.rpm
インストールが完了したら以下のコマンドで、Javaのバージョンを確認。
$ java -version java version "1.8.0_121" Java(TM) SE Runtime Environment (build 1.8.0_121-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
Elasticsearchのインストール
yumでインストールするのが普通ですが、rpm版でインストールしてみました。
インストーラは以下のURLでDLできます。
https://www.elastic.co/jp/downloads/elasticsearch
以下のコマンドでインストール。
$ rpm -ivh elasticsearch-5.2.0.rpm
Kibanaのインストール
インストーラ
https://www.elastic.co/downloads/kibana
$ sudo rpm -ivh kinbana-5.2.1-x86_64.rpm
アクロクエストさんの記事でもある通り、Kibanaのネットワーク設定を行います。
$ sudo vi /etc/kibana/kibana.yml
開いたファイルに以下の設定を追加。
server.host: "0.0.0.0"
そしてElasticsearch、Kibanaを実行。
$ sudo service elasticsearch start $ sudo service kibana start
t2.nanoだと実行できなかったのである程度メモリが必要だと思われます。
(※どこでメモリ量指定してるか分からず)
起動したら以下のURLをたたいてKibanaの画面が表示されれば成功です。
http://<作ったインスタンスのIP>:5601
Metricbeatのインストール
インストーラ
https://www.elastic.co/downloads/beats/metricbeat
インストール実行
$ sudo rpm -ivh metricbeat-5.2.1-x86_64.rpm
起動
$ sudo service metricbeat start
Metricbeatのダッシュボードをインストール
データを流すのが簡単なだけでなく、可視化するのも簡単なのがElasticスタックの利点。
Metricbeatからのデータを可視化するためのダッシュボードがすでに用意されています。
$ cd /usr/share/metricbeat/scripts $ sudo ./import_dashboards
Kibanaでインストールしたダッシュボードを見てみる。
画面左の「Dashboard」をクリックして、画面右上の「Open」をクリックします。
Metricbeat system overviewを選択するとこんな感じにしてくれます。
ダッシュボード上の「System Navigation」でCPU選ぶとこんな感じ。
メモリ
プロセス
いやあ、可能性に満ち溢れてます。
今はCPU使用率をモニタリングするのに、作業依頼を起票しないといけませんからね！！ｗ
Elastic Stackがあれば、誰でもいつでも好きな時に好きなサーバのリソース状況を見ることができますね！
情報処理安全確保支援士 登録に申し込みました
2011年の特別試験で情報セキュリティスペシャリストに合格していたので、登録資格を持っておりました。
今のところ、メリットが全くない資格ですが、資格保持者が出てくればある程度状況も変わってくるかなぁ。
追記：
2017年2月1日から7月31日の間に申込んだ人は、10月1日に登録されるとのこと…。
4月1日に間に合いませんでした…。
Elasticsearchハンズオンセミナーに参加してきた #Elastichandson
5月27日に、Acroquest Technologyさん主催のElasticsearchハンズオンセミナーに参加してきました。
管理画面からログファイルをダウンロードして、
Excelに貼り付けてグラフを作るという仕事を絶対にしたくないので、Elasticsearch学び始めました。
(自社システムのレスポンスやキャパシティを月次でグラフにしないといけないのです)
ELKの各製品をローカルマシンで起動してそれぞれの製品を触っていく感じでした。
Logstashでfilter作って、標準入力読み込ませたり
date filterを学んだ #elastichandson pic.twitter.com/iH0TsjqVdw
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
Elasticsearchにアクセスしたり
Elasticsearch起動なう。モダンなブラウザでアクセス！IEはさようなら。#Elastichandson pic.twitter.com/5pOLvhRQiS
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
Kibana表示したりしました
Kibanaきたぞおお。#Elastichandson pic.twitter.com/WoC6ctfSyo
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
試験的なデータとして30万件くらいのCSVを配布されて、
それを流し込んだらCPU4つ使い切りました。
ログ流し込んだらCPU使い切った…。#Elastichandson pic.twitter.com/LzMdcSn1P7
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
実際にはリアルタイムで収集して、いっぺんに収集することは稀だと思いますが、
サーバのスペックもそれなりに必要そうな感じですね。
(ログファイルも1つってことはないでしょうし)
ハンズオン資料見ながら、Kibanaいじって完璧なダッシュボードも作れました。
ダッシュボード出来た！#Elastichandson pic.twitter.com/WnDYiLw65s
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
Elasticsearch気になってるけど、
どんなものかよく分かってない、一人でやり始めるのは難しそうと思ってる人にはお勧めのセミナーでした！！
これからも定期的に開催されるようなので、参加してみてください！
Java Day Tokyo 2016行ってきましたンゴ!! #JavaDayTokyo
お仕事として参加してきましたー！！
www.oracle.co.jp
希望のセッションが満席で事前予約できなかったんですが、
空席があれば入れるシステムだったので、
希望のセッションを聞くことが出来ました。
参加したセッションは以下の通り！
- Innovate, Collaborate, with Java
Java8の成功でJavaの人気が盛り返してきた話。
コミュニティの話。
損保ジャパンのCOBOLからJavaへの移行
COBOLからJavaへ完全移行していくとの話でした。
偉い人からCDIやらORMという単語が出てくるだけで羨ましい感じ。
自動変換ではなくて本気でJava化へ取り組んでいくんだろうなっと。
一つだけ気になったのはパワポの中の英語が全部大文字・全角ぽかったこと。「ＪＡＶＡ」
Flight Recorder便利。
- Java EE 7アプリケーションとWebセキュリティ
みんな注目のスーツメガネコスの裏紙さん！！
実案件でのセキュリティ診断で指摘された事項が、具体的に何を防ぐための物か分かったので良かった。
- Putting Hypermedia Back in REST with JAX-RS
やっぱ同時通訳じゃ内容が入ってこない…。
ライブコーディングでJAX-RSのコードが見られたのは良かった。
- 実践して分かったJavaマイクロサービス開発
みんな大好きせろさん。
直前まで資料が出来ていなかったとは思えないほどの、講演の完成度はさすがです。
もっと具体的な話も聞いてみたいです。
- オラクルコンサルが語るJava SE 8新機能の勘所
ちっひーさんのお話。
予約出来てなかったんですが、当日参加で行けました。
最前列が空いてたので特等席で聴講。
隣にはゆとりさんやきつねさん、櫻庭さんがいました。
要するにJava8で加わったDate & Time API,ラムダ式,Stream APIを使わないっていう選択肢はないってこと。
物によっては使うリソースが微増するけど、可読性は断然上がりますしね。
最後のExaLogicによる36コア72スレッド環境での実測値は圧巻。
parallelって書くだけで物理コアをきちんと使い切れるのが分かって面白かった。
裏でMicrosoftのde:code2016と被ってしまったのが残念でしたが、
大変面白いイベントでした。
来年はJava Day Tokyoとde:code双方に参加したい！
JJUG CCC 2016 Spring 開催されました #jjug_ccc
運営側に回って3回目のJJUG CCCでした。
JJUG CCC 2016 Spring | 日本Javaユーザーグループ
今回は参加者が810名！とかなりの大盛況。
ブースに珈琲コーナーも用意して好評でした。
今回は、以下の試みを新たに行いました。
・20分セッションの導入
・ブースにドリンク提供コーナーの設置
・昼休みを1時間30分に延長
・午後のセッションの合間に長めの休憩を入れる
概ね好評のようで良かったです！！
20分セッションは登壇の敷居が下がるので、
登壇が初めての方や普段Javaに携わっていない方などもCfP投げてくれることを期待しています。
それでは秋のJJUG CCC 2016 Fallもよろしくお願いします。
