Hosted GraphiteでHerokuアドオンを監視する実践ガイド

Step 1: HerokuアドオンとしてHosted Graphiteを追加する

MetricFireのHosted Graphiteは、データを使用してカスタムダッシュボードやアラートを作成できる堅牢なデータストレージバックエンドです。Hosted Graphiteは、Herokuのログドレイン出力を解析し、データをGraphite形式に変換し、Hosted Graphiteアカウントに転送するサービスを管理します。その後、カスタムダッシュボードやアラートを構築するためにこれらのGraphiteメトリックを使用することができます。さらに、Herokuのメトリクス以外も保存することができ、インフラストラクチャの複数のレイヤーを1つのガラスペインで可視化することができます。

HerokuにはHosted Graphiteのアドオンがあり、Heroku UIから、またはHeroku CLI内の同様のコマンドから簡単に有効にすることができます：

Herokuプロジェクトで以下を実行します：

heroku addons:create hostedgraphite

これは、Hosted Graphiteアカウントを規定し、組み込みのHerokuメトリクス（例：ダイノメモリ、応答時間）をHosted Graphiteダッシュボードに送信し始めます。

以下で、ダッシュボードにアクセスできます：

heroku addons:open hostedgraphite

Hosted Graphiteアドオンがプロビジョニングされると（デフォルトプランはIntro）、Heroku UI内からアカウントに移動することができます：

HerokuダイノメトリクスがHosted Graphiteアカウントに流れ込むと、デフォルトのHerokuダッシュボードが自動的にインストールされます。このダッシュボードは、モニタリングのための素晴らしいスタート地点を提供してくれ、さらにカスタマイズすることもできます：

ウェブメトリクスを受信していない場合は、おそらくHeroku CLIからログランタイムメトリクスを有効にする必要があります：

heroku labs:enable log-runtime-metrics -a <app-name>
heroku restart -a <app-name>

Step 2: Heroku Postgresアドオンの監視

HerokuのPostgresアドオンをスタンダードまたはプレミアムティアで使用すると、DBインスタンスごとに30のパフォーマンスメトリクスがHosted Graphiteアカウントに転送されます。これらはheroku.<app-name>.heroku-postgres.<instance-name>.<type>というプレフィックスが付き、Graphite（ドット-ノテーション）形式で表示されるメトリクスです：

heroku.<app-name>.heroku-postgres.<instance-name>.database.active-connections
heroku.<app-name>.heroku-postgres.<instance-name>.database.current_transaction
heroku.<app-name>.heroku-postgres.<instance-name>.database.db_size
heroku.<app-name>.heroku-postgres.<instance-name>.database.index-cache-hit-rate
heroku.<app-name>.heroku-postgres.<instance-name>.database.table-cache-hit-rate
heroku.<app-name>.heroku-postgres.<instance-name>.database.tables
heroku.<app-name>.heroku-postgres.<instance-name>.database.waiting-connections
heroku.<app-name>.heroku-postgres.<instance-name>.server.load-avg-15m
heroku.<app-name>.heroku-postgres.<instance-name>.server.load-avg-1m
heroku.<app-name>.heroku-postgres.<instance-name>.server.load-avg-5m
heroku.<app-name>.heroku-postgres.<instance-name>.server.memory-cached
heroku.<app-name>.heroku-postgres.<instance-name>.server.memory-free
heroku.<app-name>.heroku-postgres.<instance-name>.server.memory-postgres
heroku.<app-name>.heroku-postgres.<instance-name>.server.memory-total
heroku.<app-name>.heroku-postgres.<instance-name>.server.read-iops
heroku.<app-name>.heroku-postgres.<instance-name>.server.tmp-disk-available
heroku.<app-name>.heroku-postgres.<instance-name>.server.tmp-disk-used
heroku.<app-name>.heroku-postgres.<instance-name>.server.wal-percentage-used
heroku.<app-name>.heroku-postgres.<instance-name>.server.write-iops

また、Hosted Graphiteは、ダッシュボード・ライブラリからインストールできる、これらのメトリクス用の事前設定済みダッシュボードも提供しています：

Step 3: Heroku Redisアドオンの監視

どの階層でもHeroku Redisアドオンを使用すると、12個のメトリクスが自動的にHosted Graphiteアカウントに転送されます。これらのメトリクスのプレフィックスは: heroku.<アプリ名>.heroku-redis.<インスタンス名>.<タイプ>で、これらはGraphiteフォーマットで表示されるメトリクスのものとなります：

heroku.<app-name>.heroku-redis.<instance-name>.database.active-connections
heroku.<app-name>.heroku-redis.<instance-name>.redis.evicted-keys
heroku.<app-name>.heroku-redis.<instance-name>.redis.hit-rate
heroku.<app-name>.heroku-redis.<instance-name>.redis.memory-redis
heroku.<app-name>.heroku-redis.<instance-name>.server.load-avg-15m
heroku.<app-name>.heroku-redis.<instance-name>.server.load-avg-1m
heroku.<app-name>.heroku-redis.<instance-name>.server.load-avg-5m
heroku.<app-name>.heroku-redis.<instance-name>.server.memory-cached
heroku.<app-name>.heroku-redis.<instance-name>.server.memory-free
heroku.<app-name>.heroku-redis.<instance-name>.server.memory-total
heroku.<app-name>.heroku-redis.<instance-name>.server.read-iops
heroku.<app-name>.heroku-redis.<instance-name>.server.write-iops

Hosted Graphiteはまた、ダッシュボードライブラリで利用可能なHeroku Redisダッシュボードを事前に設定しています：

Step 4: Heroku Kafkaアドオンのモニタリング

Heroku KafkaアドオンをStandard階層以上で使用すると、クラスタノードごとに10個のメトリクスが自動的にHosted Graphiteアカウントに転送されます。これらはheroku.<app-name>.heroku-kafka.<node>.<instance-name>.<type>というプレフィックスが付き、Graphiteフォーマットではこのようになります：

heroku.<app-name>.heroku-kafka.<node>.<instance-name>.kafka.bytes-in-per-second
heroku.<app-name>.heroku-kafka.<node>.<instance-name>.kafka.bytes-out-per-second
heroku.<app-name>.heroku-kafka.<node>.<instance-name>.server.load-avg-15m
heroku.<app-name>.heroku-kafka.<node>.<instance-name>.server.load-avg-1m
heroku.<app-name>.heroku-kafka.<node>.<instance-name>.server.load-avg-5m
heroku.<app-name>.heroku-kafka.<node>.<instance-name>.server.memory-cached
heroku.<app-name>.heroku-kafka.<node>.<instance-name>.server.memory-free
heroku.<app-name>.heroku-kafka.<node>.<instance-name>.server.memory-total
heroku.<app-name>.heroku-kafka.<node>.<instance-name>.server.read-iops
heroku.<app-name>.heroku-kafka.<node>.<instance-name>.server.write-iops

Hosted Graphiteには、ダッシュボード・ライブラリから生成できるHeroku Kafkaダッシュボードも設定済みです：

Step 5: アドオンのカスタムメトリクスの送信

Herokuはアドオン固有のメトリクスをGraphiteにネイティブに送信しません。しかし、APIクエリやサービス統合を使って手動で送信することができます。以下にその方法を示します：

• 例： Heroku Postgresのメトリクスを監視

Herokuはデータベースメトリクスを取得するためのCLIプラグインを提供しています：

heroku pg:info --app your-app-name

これは以下のようなメトリクスを返す：

• 接続数
• データベース・サイズ
• トランザクション・スループット
• テーブル・キャッシュ・ヒット率

BashまたはPythonを使用してこれをスクリプト化し、StatsDまたは直接TCPを使用してHosted Graphiteにメトリクスを送信できます。

Pythonの例：

import statsd
import subprocess

statsd_client = statsd.StatsClient('carbon.hostedgraphite.com', 2003, prefix='YOUR_API_KEY')

# Example: Send connection count
output = subprocess.check_output(['heroku', 'pg:info', '--app', 'your-app-name']).decode()
if "Connections" in output:
    connections = int(output.split("Connections")[1].split()[0])
    statsd_client.gauge("heroku.postgres.connections", connections)

cronジョブまたは軽量のHeroku worker dynoでスケジュールします。

Step 6: Graphite データを使用してカスタムアラートを作成する

Hosted Graphite UI で、Alerts => Graphite Alerts に移動して新しいアラートを作成します。アラートに名前を付け、アラートのメトリックフィールドにクエリを追加し、このアラートが何であるかの説明を追加します（注：ワイルドカード（*）検索を使用して、指定したインデックスからすべてのメトリックを取得することができます）：

次にAlert Criteriaタブを選択して閾値を設定し、通知チャネルを選択します。デフォルトの通知チャネルは、Hosted Graphiteアカウントにサインアップする際に使用したメールになりますが、Slack、PagerDuty、Microsoft Teams、OpsGenie、カスタムWebhookなどのチャネルを簡単に設定することができます。通知チャンネルの詳細については、Hosted Graphiteのドキュメントを参照してください：

MetricFireでは、任意の時系列メトリックのアラートしきい値を定義することができます。

例:

• 🚨 Redisのメモリ使用率が85%を超えた場合にアラート
• 📉 Postgresキャッシュのヒット率が90%未満の場合にアラート
• 🛑 ウェブフック5xxレートが5分間1%を超えた場合にアラート

アラートの送信先

• Slack
• Email
• PagerDuty
• Webhooks

これは、サードパーティのサービスに依存している場合に特に便利です。サードパーティのサービスのパフォーマンスが変化したときに、あなたのサービスが壊れる前にアラートを出すことができます。