2024/09/18日の障害についての報告

34

なおこの障害によってデーターが紛失したり削除された問題は発生していません。

利用者の皆様、および接続先の皆様へ
予定よりも追加の停止時間が4.5時間発生してしまい申し訳ございませんでした。
現在は復旧しております。
原因につきましては後ほどご説明させていただきます。
今後とも何卒よろしくお願い申し上げます。

To all users and connected parties,
We sincerely apologize for the 4.5-hour extension beyond the initially scheduled downtime.
Service has now been restored.
We will provide an explanation of the cause shortly.
Thank you for your continued understanding and support.

https://misskey.pm/notes/9yaqjk6bns2z85l2

上記のメンテナンスを試みた際にDNSレコードなどの切替に失敗して2日以上の障害を発生させてしまった事についてご説明します。

噛み砕いて説明いたしますと2つの要因によってメンテナンス時間が大幅に超過してしまいました。

片方のサーバーが接続できない中でネームサーバーを変更を試みた

ダッシュボードに入れなくなってしまいネームサーバーの変更を試みました。

ネームサーバーを変更するには当方の設定では1日の時間が必要であり結果的に環境によっては1日ほどドメインの解決ができずに接続できなくなる問題が発生しました。

問題点としてはダッシュボードに入れなくなった際にサポートに連絡する事を躊躇して他の方法で無理矢理解決を試みたことでした。

そもそも5時間のダウンタイムではデーターベースを変換出来なかった

今回のメンテナンスはデーターベースを変換する作業が必要でありデーターベースに複数のインスタンスのデーターをキャッシュしている当インスタンスでは変換作業に時間がかかりました。

データベースの変換作業だけで3時間ほど必要として前後の全てのサーバーのバックアップ作業を含めると今回の計画で5時間は明らかに計画として無理がありました。

少なくとも前後のバックアップをサーバーを停止せずに行う方法にするなどしてダウンタイムを短くする努力が必要でした。

技術概要

管理者は上記の原因でダウンタイムが大幅に超過したと認識しておりますが誤った記載などがあれば教えていただける幸いです。

まとめ

利用者の皆様、連合先の皆様にご迷惑をおかけしました事をお詫びします。

約束したダウンタイム以上は超えないようにメンテナンス時に計画を行うなどの対応を行います。

今後ともよろしくお願いします。


https://blog.nauzome.com/wp-content/themes/n5z/monogram/y.svg

おつかれさまです!

2024-09-24 01:25anonymous

そう言っていただきありがとうございます。

2024-09-24 04:17:12 nauzome


コメントを入力


スパム以外は承認する予定です。何卒。

コメントを投稿するにはhCaptchaの解除が必要です最も簡単な設定にしてありますのでお手数ですが解除をしてください


f631798db450cbbf8b78c692bffac415.webp

Misskey.pm Telegram Twitter GitHub blog.nauzome.com nauzome.org