Elastic Stack5.2でMetricbeatのダッシュボードを作って可視化してみた #elasticsearch
AWSを仕事で触れるようになって、色々試し始めてるので備忘録的に記載します。
Elastic Stackは、現在の業務を飛躍的に楽にしてくれると期待しているので、
社内でステマしまくって、何とか来期予算を少しだけ確保できましたので、
みっちり触っていこうと思ってます。
殆ど以下の記事を参考にしました。
acro-engineer.hatenablog.com
LogstashやBeatsで色んなサーバからログを集約して、Kibanaで一元的に可視化する方法とか
まだ全然わかってませんが、大事な1歩です。
↓これ。
Open JDKのアンインストール
Amazon Linuxには初期状態でOpenJDK7がインストールされているので、
Oracle JDK8にアップデートします。(Open JDK8でも問題ありません)
$ sudo yum remove -y java
Oracle JDKのインストール
Oracle JDKは以下のURLからあらかじめDLし、SCPでEC2インスタンスに転送しました。
この後出てくる各種インストーラも同じです。
http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html
$ rpm -ivh jdk-8u121-linux-x64.rpm
インストールが完了したら以下のコマンドで、Javaのバージョンを確認。
$ java -version java version "1.8.0_121" Java(TM) SE Runtime Environment (build 1.8.0_121-b13) Java HotSpot(TM) 64-Bit Server VM (build 25.121-b13, mixed mode)
Elasticsearchのインストール
yumでインストールするのが普通ですが、rpm版でインストールしてみました。
インストーラは以下のURLでDLできます。
https://www.elastic.co/jp/downloads/elasticsearch
以下のコマンドでインストール。
$ rpm -ivh elasticsearch-5.2.0.rpm
Kibanaのインストール
インストーラ
https://www.elastic.co/downloads/kibana
$ sudo rpm -ivh kinbana-5.2.1-x86_64.rpm
アクロクエストさんの記事でもある通り、Kibanaのネットワーク設定を行います。
$ sudo vi /etc/kibana/kibana.yml
開いたファイルに以下の設定を追加。
server.host: "0.0.0.0"
そしてElasticsearch、Kibanaを実行。
$ sudo service elasticsearch start $ sudo service kibana start
t2.nanoだと実行できなかったのである程度メモリが必要だと思われます。
(※どこでメモリ量指定してるか分からず)
起動したら以下のURLをたたいてKibanaの画面が表示されれば成功です。
http://<作ったインスタンスのIP>:5601
Metricbeatのインストール
インストーラ
https://www.elastic.co/downloads/beats/metricbeat
インストール実行
$ sudo rpm -ivh metricbeat-5.2.1-x86_64.rpm
起動
$ sudo service metricbeat start
Metricbeatのダッシュボードをインストール
データを流すのが簡単なだけでなく、可視化するのも簡単なのがElasticスタックの利点。
Metricbeatからのデータを可視化するためのダッシュボードがすでに用意されています。
$ cd /usr/share/metricbeat/scripts $ sudo ./import_dashboards
Kibanaでインストールしたダッシュボードを見てみる。
画面左の「Dashboard」をクリックして、画面右上の「Open」をクリックします。
Metricbeat system overviewを選択するとこんな感じにしてくれます。
ダッシュボード上の「System Navigation」でCPU選ぶとこんな感じ。
メモリ
プロセス
いやあ、可能性に満ち溢れてます。
今はCPU使用率をモニタリングするのに、作業依頼を起票しないといけませんからね！！ｗ
Elastic Stackがあれば、誰でもいつでも好きな時に好きなサーバのリソース状況を見ることができますね！
情報処理安全確保支援士 登録に申し込みました
2011年の特別試験で情報セキュリティスペシャリストに合格していたので、登録資格を持っておりました。
今のところ、メリットが全くない資格ですが、資格保持者が出てくればある程度状況も変わってくるかなぁ。
追記：
2017年2月1日から7月31日の間に申込んだ人は、10月1日に登録されるとのこと…。
4月1日に間に合いませんでした…。
Elasticsearchハンズオンセミナーに参加してきた #Elastichandson
5月27日に、Acroquest Technologyさん主催のElasticsearchハンズオンセミナーに参加してきました。
管理画面からログファイルをダウンロードして、
Excelに貼り付けてグラフを作るという仕事を絶対にしたくないので、Elasticsearch学び始めました。
(自社システムのレスポンスやキャパシティを月次でグラフにしないといけないのです)
ELKの各製品をローカルマシンで起動してそれぞれの製品を触っていく感じでした。
Logstashでfilter作って、標準入力読み込ませたり
date filterを学んだ #elastichandson pic.twitter.com/iH0TsjqVdw
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
Elasticsearchにアクセスしたり
Elasticsearch起動なう。モダンなブラウザでアクセス！IEはさようなら。#Elastichandson pic.twitter.com/5pOLvhRQiS
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
Kibana表示したりしました
Kibanaきたぞおお。#Elastichandson pic.twitter.com/WoC6ctfSyo
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
試験的なデータとして30万件くらいのCSVを配布されて、
それを流し込んだらCPU4つ使い切りました。
ログ流し込んだらCPU使い切った…。#Elastichandson pic.twitter.com/LzMdcSn1P7
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
実際にはリアルタイムで収集して、いっぺんに収集することは稀だと思いますが、
サーバのスペックもそれなりに必要そうな感じですね。
(ログファイルも1つってことはないでしょうし)
ハンズオン資料見ながら、Kibanaいじって完璧なダッシュボードも作れました。
ダッシュボード出来た！#Elastichandson pic.twitter.com/WnDYiLw65s
— まめぴか＠🎎🐻🎎 (@mame_pika) 2016年5月27日
Elasticsearch気になってるけど、
どんなものかよく分かってない、一人でやり始めるのは難しそうと思ってる人にはお勧めのセミナーでした！！
これからも定期的に開催されるようなので、参加してみてください！
Java Day Tokyo 2016行ってきましたンゴ!! #JavaDayTokyo
お仕事として参加してきましたー！！
www.oracle.co.jp
希望のセッションが満席で事前予約できなかったんですが、
空席があれば入れるシステムだったので、
希望のセッションを聞くことが出来ました。
参加したセッションは以下の通り！
- Innovate, Collaborate, with Java
Java8の成功でJavaの人気が盛り返してきた話。
コミュニティの話。
損保ジャパンのCOBOLからJavaへの移行
COBOLからJavaへ完全移行していくとの話でした。
偉い人からCDIやらORMという単語が出てくるだけで羨ましい感じ。
自動変換ではなくて本気でJava化へ取り組んでいくんだろうなっと。
一つだけ気になったのはパワポの中の英語が全部大文字・全角ぽかったこと。「ＪＡＶＡ」
Flight Recorder便利。
- Java EE 7アプリケーションとWebセキュリティ
みんな注目のスーツメガネコスの裏紙さん！！
実案件でのセキュリティ診断で指摘された事項が、具体的に何を防ぐための物か分かったので良かった。
- Putting Hypermedia Back in REST with JAX-RS
やっぱ同時通訳じゃ内容が入ってこない…。
ライブコーディングでJAX-RSのコードが見られたのは良かった。
- 実践して分かったJavaマイクロサービス開発
みんな大好きせろさん。
直前まで資料が出来ていなかったとは思えないほどの、講演の完成度はさすがです。
もっと具体的な話も聞いてみたいです。
- オラクルコンサルが語るJava SE 8新機能の勘所
ちっひーさんのお話。
予約出来てなかったんですが、当日参加で行けました。
最前列が空いてたので特等席で聴講。
隣にはゆとりさんやきつねさん、櫻庭さんがいました。
要するにJava8で加わったDate & Time API,ラムダ式,Stream APIを使わないっていう選択肢はないってこと。
物によっては使うリソースが微増するけど、可読性は断然上がりますしね。
最後のExaLogicによる36コア72スレッド環境での実測値は圧巻。
parallelって書くだけで物理コアをきちんと使い切れるのが分かって面白かった。
裏でMicrosoftのde:code2016と被ってしまったのが残念でしたが、
大変面白いイベントでした。
来年はJava Day Tokyoとde:code双方に参加したい！
JJUG CCC 2016 Spring 開催されました #jjug_ccc
運営側に回って3回目のJJUG CCCでした。
JJUG CCC 2016 Spring | 日本Javaユーザーグループ
今回は参加者が810名！とかなりの大盛況。
ブースに珈琲コーナーも用意して好評でした。
今回は、以下の試みを新たに行いました。
・20分セッションの導入
・ブースにドリンク提供コーナーの設置
・昼休みを1時間30分に延長
・午後のセッションの合間に長めの休憩を入れる
概ね好評のようで良かったです！！
20分セッションは登壇の敷居が下がるので、
登壇が初めての方や普段Javaに携わっていない方などもCfP投げてくれることを期待しています。
それでは秋のJJUG CCC 2016 Fallもよろしくお願いします。
JJUG CCC 2015 Fallに参加してきました #jjug_ccc #jjug
JJUG CCC 2015 Fall（11月28日開催） | 日本Javaユーザーグループ
前回に続いて運営として2回目のJJUG CCCでした。
登録者1100人、参加者700人弱と前回に引き続き大規模なカンファレンスになりました。
登壇者の皆さん、来場者の皆さん、スポンサーの皆さんありがとうございました。
今回はボランティアスタッフの方々にも参加していただき、非常に助かりました。
運営していくうちに足りないところや改善点が見えてきたので、
来年春のJJUG CCCは更に良いものになると思います！！
セッションの資料については、
JJUG CCC 2015FallのHPに随時追加していきますのでチェックをお願いします。
Sessions / JJUG CCC 2015 Fall（11月28日開催） | 日本Javaユーザーグループ
今回は各セッションの写真撮ったり、動画も撮っていたのですが、
櫻庭さんに写真の駄目だし食らったので、ここも精進していきますｗ
動画も一眼レフでは30分制限があって、1セッションを綺麗に撮ることが出来ないので、
ビデオカメラが欲しくなりました。
CCCは同時に複数のセッションが行われているので難しいですが、
ナイトセミナーは動画配信もしていきたいですね。
最近はページ公開するとすぐに定員になってしまうほどですし、
参加できない人にもあとで見返す機会は設けたいです。
アンケートについて
今回、アンケートの集計作業を行ったので、色々な意見を見させてもらいました。
やっぱり、応援や感謝の言葉があると嬉しくなりますね。
それと同時に意見や要望も為になります。
紙より電子媒体のほうがいいのかなって幹事会でも議題になってはいたのですが、
時間もなく紙になってしまいました。
次は電子媒体も検討したいです。
最後に
懇親会で、日頃Twitterで交流している方々と挨拶も出来て良かったです。
打ち上げも始発まで飲んで騒いで本当に楽しいイベントでした。
次回もいいイベントにしたいと思います。
ありがとうございました。
第3回かわいいKotlin勉強会に行ってきました #jkug
以下の勉強会に参加してきました。
Kotlinは触ったことないですが、気にはなってるので。
かわいいというのはKotlinの名前だけで、
内容はかなりガチでした！
Java8で世の中が盛り上がってる中、Androidでは使えないので、
日頃Android開発をしてる方の参加が多かったようです。
Kotlinらしいコード
Javaで煩いコードも、Kotlinだと結構スッキリになるよとのこと。
途中段階の説明ではチンプンカンプンでしたが、
before-afterだけ抑えてればいいのかなと。
個人開発AndroidアプリをKotlinにガチ移行してみた話
AndroidでKotlinを使った実例紹介でした。
Java-Kotlinの自動変換は躓くところもあるけど、おおむね良好の模様。
Kotlin + Androidの商用実績が欲しいとのことでした。
