HANZUBON.jp

主にミラーの動作チェックのために 簡単なログを irc のとあるチャネルに流してたんだけど いろいろ都合が悪くなったので twitter の @debianmirrorjp へ流すように変更してみた(つもり)

最近は Western Digital の 3TB (3TiB) HDD WD30EZRX がものすごい安価(1万切って 9700 〜 9900 円くらい 下手すると特売で9000円きることも)で売っていて、手頃だしバイト単価も安くていいので これに手を出すわけです。

でも、この HDD って 4kセクタな上に単体で2TBをこえてるので いろいろあるわけですよ。

とりあえずメモ的に2点。

hanzubon.jp の mirror 用ストレージは areca の arc-1680 という SATA/SAS RAIDカードにぶら下がって構成されています。(その他のarecaのカード含めてのようですが)、最新の firmware (version 1.49)に更新してないと 3TiB な HDD を正常に認識しません。

接続されているのは、認識するんですが容量が0.0GBと表示されて まったく使えません(わら

1.49 まで上げてあるつもりで、つないだんですが 最初そんな状態になって ちょっと焦りました。

逆にいうと、1.49 にあげたところ 正常に認識され いまのところ特に問題もなく利用できています。

もう一点、いままでめんどくさいので避けてきた 4k セクタの話。

とりあえず、Linux的には周辺のブツ(fdisk とか parted)とかが すでにそのあたりを意識してくれるようになってるんで、深く考えずに Go しても大丈夫なんですね いまどきは(わら

2TB 以下の HDD であれば、DOS mbr でいけるんで fdisk でパーティションきれば 勝手に適当にアラインメントとってくれるようです。fdisk の表示上も物理セクタ/論理セクタのサイズをちゃんと認識してくれて表示してくれるようになっています、いつのまにか。

2TBを超える場合は GPT でということになりますが、こっちも parted でやってやればさくっといけます。あらかじめ mklabel gpt してある前提で


parted --align=min --script /dev/sdX mkpart primary ext2 0 100%


みたいなことをすれば、parted が「ぉい alignment できてねぇぞ その指定だと一番近い alignmentできてる開始位置はここだ」と教えてくれるので、その指示にしたがって先頭を指定するのがいいようです。

(追記)
こんなことしなくても –align=opt してパーティションきるのが正解?
おしえてエラい人(わら

以上、雑記的メモでした。

「debian mirror のストレージの構成 HDD 一本あたりの容量あげて本数減らしたいなー だれか HDD おごってくれないかなー(わら」と tweet したら、ありがたいことにほんとにnakanotにおごっていただけたので ゆうべから 構成変更作業をしてました。

データ自体は debian-cd 以下を除いて復旧/更新済です。

HANZUBON.jp 今晩停止します 予定では20時前後から

停止中 各種mirrorの更新が止まります

mirrorに使ってるRAIDの構成変更をするので 時間かかる予定

主要mirrorは明日の昼間くらいまでにがんばる、その他は週末中には復旧するかなぁ という感じです

追記(2010/10/30 0:55):
とりあえず、主要部分は復旧したので表からアクセスできるようにしました。debian/debian-backportsは現在最新の状況にsync中(debian-volatileはdone)。その他は、まだ復旧中です。

追記(2010/10/30 10:20):
寝てる間に復旧しとりました。

とりあえず、現状やっつけで見づらいわけだけど

Debian mirror

Debian backports mirror

Debian volatile mirror

の push mirror の各サーバでの mirror にかかった時間とかミラーが
行われた時刻を集計してみることにした。

集計の更新頻度は現状30分おき。

なお、ここに出てこない国内のmirrorサーバは「push mirrorではない」
ので、ftp-master等でのtreeの更新が実際にそのmirrorサーバに伝搬する
のは、一般的に push mirror より大幅に遅れます。

ftp.jp.debian.org や cdn.debian.net は、これらの push mirror サーバをたばねた CDN に使われてるホスト名です。まとめると、現状 Debian の apt line として利用する場合は、

• 通常は ftp.jp.debian.org を使えばいい具合にしてくれる
• httpでの利用のみであれば cdn.debian.netを使うといい
• どーーーしても個別のミラーホストを指定したい人は、これらの push mirror サーバを指定する(ただし hanzubon.jp 以外を推奨)
• それ以外を指定しても、あまりいいことはない

となります(以上誤解をうみそうなので追記)

ちなみに、2010/10/11からdebian-volatileの更新がないっす。
なぜだろか…

追記1:
Ar-に「jsonでひっぱれるようなデータ用意シレ」と言われたので、

debian|debian-backports|debian-volatile

で取れるようにしました。

なんか どーも push signal こねぇな と思ってたら、ルータで塞いでいました…orz

ということで、signal くるのを確認したので復活したはず。

どーも すいません(わら

昨日は、たんきよで毎年恒例の忘年会でした。

久しぶりの参加のひともちらほら、新しく参加の人も何人か。
うかいさんのおくさんに初めて会いましたが、なかなか面白い人でした。

その後、nnnの知ってる店に だいすけ、まくつ、nnn、ならき、オレという感じで移動して二次会?で終電前に解散。

これが終わると、なんだかようやく年末が近づいてきた気がします。

keitairc 2.0b12をリリースしました。

なんもなければ、このまま2.0になる予定。

2.0出すのにどんだけかかってんだとかいうツッコミはしないように(わら

b11からiPhone/iPod touch UIを大幅に修正してそれなりに使えるようになってる
ので、iPhoneユーザで古いもの使ってるような人は新しいのにしたほうがいいです。

今回はなんとなくdebianパッケージも置きました。

ダウンロードはこのあたりから。

Debian mirrorの更新って、ミラー中もアクセスしても整合性がとれてるように、
ざっくりいうと次みたいな流れになっている。

1. pool/以下を–deleteなしでrsync
2. 全体を–after-deleteありrsync

(正確には dists/以下の特定パターンのファイルがあとで更新されること、
ファイルの削除が最後に消されることが条件だけど、まぁ細かいことは
考えなくてもいい、ここでは)

で、なにが言いたいかいうと、結局都合2回rsyncがかかるのと、1回目と2回目に
同じディレクトリのトラバーサルが走るので、まぁなんつーか若干効率が悪い
わけです。

でだ、一方 rsync には –deley-updates というオプションがあります。

これは取り合えずファイルを別の位置にどばーっととってきておいて、
実際のファイルの更新は最後にまとめてやりますよ というオプション。

一般的にリモートからローカルの転送には時間がかかるけど、ローカルでの
renameは比較的短時間で済むので、ツリー全体の不整合な時間を
ある程度減らせますよ というためのものですね(もちろん、atmicには
なりません)。

でね、この –deley-updatesオプションの動作を拡張するなり、
別のオプション(例えば –deley-update-patternとかいうオプション
を新設がいいんじゃね? という気がしている)して、「指定したパターンに
合致したファイル/ディレクトリのみ、delay-update する」とかできると、
Debian mirror 的には rsync 一発でいけるようになるので、ちょっと
うれしいんじゃねぇか? とか思いました。

誰かやる人?(わら
(自分でやれといわれそうだな(わら)

debian-cdのミラーからisoをhttpで持ってくアクセスがけっこう多くて、なかなかきびしいので

「大きめのisoイメージ(100M程度にしたつもり)」

を

「httpで」

取得しようとした場合のみ大幅に帯域しぼられるように調整しました。

とるならrsyncで取ってね。