夜行月報

“夜更かし”から“新しい”をみつけるためのブログ

「インフラエンジニアの教科書」を読んだまとめ(2/2)

インフラの世界を知る

こんにちは!シロネコ書房です。

前回に引き続き、「インフラエンジニアの教科書」から学んだ内容をアウトプットしていきたいと思います。今回はネットワークから!

(前半はこちら) www.yako-geppo.com

ネットワーク

ルータの役割

ルータは、受け取ったパケットを適切な経路に転送するネットワーク機器。 LAN(Local Area Network)同士をつなぎ、またWAN(Wide Area Network)側に飛び出す通信が発生した場合は、ルーティングを行うことで外部のLANに通信を引き渡す。

ルーター内に設定されているルーティングテーブルを管理する手法には、経路情報を手動で登録するスタティックルーティングと、近隣のルータと通信してルータ同士で経路情報を自動的に更新するダイナミックルーティングがある。

ルータの選定ポイント

ルータを選ぶ際のポイントには以下のようなものがある。

  • ISPやデータセンターなどから提供される回線のインターフェイスと同様のWAN側インターフェイスを持つこと。
  • WAN側の通信帯域に合わせたインターフェイスになっているか。
  • 必要なスループットを満たしているか。
  • ルータにセキュリティー機能を持たせるかどうか。
  • 導入コストは適切か

L2/L3スイッチ

L2スイッチは、業務用のスイッチングHUB。入ってきたフレーム(パケット)のMACアドレスを見て適切なポートにフレームを転送する。宛先情報に該当するMACアドレスが存在しない場合は、LAN内全体にブロードキャストを飛ばし、応答があったポートに転送する。

L3スイッチは、いわばルータ機能付きのL2スイッチ。パケットが入ってくると、宛先となるIPアドレスを見て適切なポートにパケットを転送する。ルーティングテーブルに該当するIPアドレス、もしくはネットワークがない場合は、デフォルトゲートウェイに繋がるポートに転送する。

L2/L3スイッチを選定するポイントには以下のようなものがある。

  • インターフェースの速度とポート数が確保できているか。
  • インテリジェントスイッチが必要かどうか。
  • スイッチング能力とスイッチング容量は十分か
  • ワイヤースピード・ノンブロッキングスイッチである必要があるか。

L4/L7スイッチ

L4/L7スイッチは、ロードバランサー機能付きのL3スイッチ。 L4スイッチは、宛先となるVIPとTCP/UDPポートを見て適切なサーバにパケットに転送する。 L7スイッチは、宛先となるURLを見て、適切なサーバに転送する。 また、これらのスイッチはサーバの死活管理も行なっている。

ネットワークのトポロジー

ネットワーク設計には無限に組み合わせがあるが、よく使われるパターンには以下のようなものがある。

フロントエンド/バックエンド2階層構造

Webサーバなどのフロントエンド層と、データベースなどのバックエンド層の2階層ネットワーク。

フロントエンド層はインターネットに近いところに、バックエンド層は遠いところに位置される。 フロントエンドには、グローバルIPアドレスを付与して直接アクセスできるようにしたり、L4スイッチを付与して介してインターネットと通信する。 対して、バックエンド層に置かれたサーバには、外部から直接アクセス・ハッキングなどの攻撃を受けないようにする必要がある。

3階層構造

複数のサーバルームがあるような環境で、コア層/ディストリビューション層/アクセス層に分ける構造。

コア層では、ディストリビューション層からの通信を集約してインターネットに接続する。

ディストリビューション層では、アクセス層からの通信を集約してコア層に接続し、また、アクセス層間の通信を中継する。

アクセス層では、サーバからの通信を集約してディストリビューション層に接続する。フロントエンド/バックエンド2階層構造に見られるWebサーバ群は、一般的にここに置かれる。

ネットワークファブリック

アクセス層のL2ネットワークを仮想化し、物理的に異なるラックやスイッチを論理的に1つのネットワークとしてみせる技術。 アクセス層に当たるL2ネットワークがフラット化し、サーバをアクセス層のいずれのL2スイッチにも接続することが可能になる。

ネットワーク基本用語

TCP/IP

今日のインターネット上で、一般的に用いられる通信プロトコル。このプロトコルが世界標準となって使われていることで、インターネットにつながる全てのコンピュータと容易に通信を行える。

OSI基本参照モデル。

国際標準化機構(ISO)によって策定された、コンピュータの持つべき通信機能を階層構造に分けたモデルのこと。 通信機能を7つのレイヤーに分けて定義している。

TCPとUDP

TCP(Transmission Control Protocol)はコネクション型の「高品質な通信を実現する」プロトコル。 パケットの送受信の順序が異なった場合にそれを修正したり、一部で送信エラーが発生した場合にデータの再送を行うなどの機能を持つ。 送信元と受信先で確実な通信が保証されるが、オーバーヘッドが大きく、UDPに比べると通信は遅くなる。 Webやメールなどで用いられる。

UDP(User Datagram Protocol)はコネクションレスの「低品質だが高速」なプロトコル。 パケットの送受信順序やエラーなどを気にせず、送信元は一方的にデータを送りつける。 そのため受信元がその情報を受け取る保証はなく、受け取ったかどうかの返事もしない。 音声通話や動画など、一部の情報が欠けてもさほど師匠のないアプリケーションで用いられる。

3wayハンドシェイク

TCPコネクションを確立すること。送信元と受信側の間で、TCPヘッダの中のSYNとACKを投げ合うことで成立する。

スイッチングとルーティング

LANのなかで、L2スイッチ(スイッチングHUB)を介した通信のことをスイッチングといい、ルータやL3スイッチを介してLANとLANの間をまたいで通信することをルーティングと言う。

ネットワークケーブル

ネットワーク配線に使われるケーブルには、LANケーブルや光ファイバーケーブルがある。

LANケーブルには、UTPケーブル、ツイストペアケーブル、イーサネットケーブルなどの呼び名がある。 よく使われる規格として、CAT5e、CAT6、CAT6A、CAT7などがある。 しかし、ネットワークの帯域を目一杯使い切るような環境でもなければ、どの種類のLANケーブルでも大きな差はない。

光ファイバーケーブルには、1000BASE-SXや1000BASE-LXがある。光ケーブルとしては、マルチモードファイバ、もしくはシングルモードファイバがある。 マルチモードファイバは、伝送距離が短いが安価。対して、シングルモードファイバは伝送距離が長いが高価。

スポンサーリンク

ストレージ

データを記憶する装置。 サーバ内部の記憶領域であるローカルストレージと、サーバ外の記憶領域としての外部ストレージがある。

ローカルストレージ

サーバ内部にディスクを搭載して用いる記憶領域。 外部ストレージと比べ、搭載できるディスクの本数や拡張性が少ない。

外部ストレージ

サーバ外に用意するストレージ機器、ストレージ領域のこと。 外部ストレージには、DAS、NAS、SANの3つの形態がある。

DAS(Direct Attached Storage)

サーバに直結するするストレージ機器。ローカルストレージだけでは容量が足りない場合にディスクの容量を増やせる。 また、多くのディスク本数を搭載できるため、ストライピング数の多いRAID構成にすることで、ディスクI/O性能を大幅に高められる。 さらに、DAS筐体を数珠つなぎ(デイジーチェーン)することで、容量を拡張できるものもある。

NAS(Network Attached Storage)

ネットワーク経由で服すのサーバからアクセス可能なストレージ。複数のサーバ間でデータを共有したり、複数のサーバで生ずるバックアップやログファイルを1カ所にまとめる時などに使われる。 NFS、SMB/CIFS、AEPといったプロトコルを用いて通信を行う。

SAN(Strage Area Network)

ブロックレベルのデータストレージ専用ネットワークのこと。高速・高品質な環境を求める際に用いられる。

ホットスペア

一部のディスクが壊れた時のために待機しているスタンバイディスクのこと。 ディスクの故障を検知すると自動的にホットスペアがアクティブになり、壊れた ディスクの代わりにRAIDグループに組み込まれるようになる。 故障したディスクはシステムから切り離され、そのまま交換が可能。新しいディスクに交換すると、今度はその新しいディスクがホットスペアとして待機されるようになる。

外部ストレージを利用する目的

外部ストレージを利用する目的としては、以下のようなものが挙げられる

  • 記憶領域を大きくするため
  • ディスクI/O性能を向上させるため。
  • ストレージに保存されたデータの統合・集中管理を行うため。
  • 複数サーバ間でデータの共有を行うため(NASを利用)

その他の高度な機能

シンプロビジョニング

ストレージ・リソースを各サーバに仮想化して割り当てることで、ストレージの物理容量を削減できる技術。 割り当てた容量分の物理ストレージのみ用意することが可能になり、投資コストを必要最低限に抑えられる。

自動階層化

異なる性能のディスクを組み合わせながら、利用頻度の高いデータを高価で高速なデバイスに、利用頻度の低いデータは安価で低速なデバイスに自動的に保存することを実現する機能。 データの効率的な運用が可能になる。

デデュープ

ストレージのバックアップをとるときに、先に保存されているデータのコピーを行わないことで保存領域を節約する機能。 データの新規差分のみを新たに保存するため、バックアップ時間も短縮できる。 また、除外機能の他、データの圧縮機能を搭載している製品も多い。

スナップショット

ある瞬間のファイルシステムの静止点を瞬間的に保持しておく機能。 ファイルの更新が発生するたびに更新履歴情報を管理することで。その時点でのファイルシステムの状態を復元できる。

データセンター

データセンターは、電気、温度、ネットワーク、セキュリティ、災害対策などが十分に考慮された、ITインフラを構築するのに最適な環境。 24時間365日稼働し続けるサーバは、データセンターに置くと大変便利。

データセンターの空調方式

データセンターには機器を冷やすための強力な空調が整備されている。 冷却方式には、次のようなものがある。

  • 床下冷気方式
  • 排熱吸引方式
  • 外気空調方式

床下冷気方式は、機器のある部屋全体を強力な空調で冷やす方式。 シンプルだが、エネルギー効率は悪い。

排熱吸引方式は、コールドアイスと呼ばれる冷気で満たされた空間と、ホットアイルと呼ばれる排熱が充満した空間を物理的に区別する方式。 コールドアイルは冷気で冷やし、ホットアイルは排熱を吸引する。 床下冷気方式と比べて、エネルギー効率が高くなる。

外気空調方式は、電力に頼らずに、できるだけ外気を用いることで機器の冷却を行う方式。外気に含まれるゴミのフィルタリングが重要。

データセンターを選定する際のポイント

データセンターを選ぶ際のポイントには以下のようなものがある。

  • データセンターの立地はどうか(利便性)
  • サーバの設置可能台数はどの程度か
  • ラックの貸し出しはあるか
  • 利用可能ボルト数は何か
  • 重荷重機器への対応が可能か
  • 防災レベルはどの程度か
  • 無停電装置や発電機の性能はどの程度か
  • ゴミの回収を行ってくれるか
  • 搬入スペースや駐車場はどの程度か
  • リモートハンドサービスがあるかどうか
  • ユーザールームはあるか
  • サーバルームを区切る金網はあるか(ケージコロケーションは可能か)
  • 回線のコネクティビィティーはどうなっているか
  • 個別対応に応じてくれるか
  • 工具や机、ケーブルなどの備品を貸し出してくれるか
  • 売店や宿泊施設があるか
  • 費用はどの程度か

※ 自社にサーバルームを設ける場合

自社にサーバルームを設ける場合、データセンターを利用するのに比べてコストダウンができるように思われがちだが、多くの課題がある。

自社にサーバルームを作り上げるポイントとしては、以下のようなものがある。

  • サーバや冷却装置、消火装置など、多くの機器を置くのに十分な床面積があるか
  • オフィスのあるビルの最大電力容量は十分か
  • 十分な冷却装置を用意できるか
  • 床の対荷重性能は十分か
  • 地震対策ができているか
  • 騒音対策は十分か
  • 埃対策ができているか
  • 報知点検(停電)対策ができるか
  • サーバルームのセキュリティー対策は十分か
  • サーバルームに備品置き場があるか

スポンサーリンク

ソリューション

ITインフラを運営する上で、多くの機器を管理するために様々なソリューションを活用する必要がある。

例えば機器の稼働状態を一括監視するには、監視ソリューションを利用する。 日本でよく利用される監視ソリューションには、Nagios(ナギオス)やZabbix(ザビックス)、Cacti(カクタイ)などがある。

監視ソリューションの他には、大量の機器を効率よく管理するための資産管理ツールや、サーバに設定ファイルなどを配信する配信システム、セキュリティ、物理環境をモニタリングするファシリティ管理システム、ストレージ監視システムなどがある。

セキュリティ

顧客のデータ、各種ドキュメント、売上情報などの重要な情報資産を守るため、セキュリティには注意を払う必要がある。 セキュリティ対策をする際には、「何を守るためのセキュリティなのか」を明確にすることで、対策や投資すべき費用の産出がしやすくなる。

その上で、セキュリティ担当者とサーバ担当者の連携を深めたり、外部セキュリティ企業の活用などをうまく活用することが重要。

MSP

MSP(Managed Service Provider)は、ITインフラの運用管理を行ってくれる業者のこと。 自社内でITインフラを所有することになったが、24時間365日の管理が難しい場合などに利用する。

MSPを選定する際のポイントには以下のようなものがある。

  • 企業としての信頼性が高いか(コンプライアンスや財務状況など)
  • 担当エンジニアのコミュニケーション力に不安はないか
  • 柔軟な要望に対応してくれるか
  • 確かな技術力を要しているか
  • 費用対効果が適切か

CDN

CDN(Contents Delivery Network)は、サービス提供会社のサーバに変わって、ベンダーが提供したキャッシュサーバにアクセスして、ユーザが性的コンテンツを取得できるようにする仕組み。

ユーザは最も近いキャッシュサーバにアクセスすることになるため、コンテンツを高速に提供できる。また、自社としては、アクセスの増加に対してサーバの台数やネットワーク帯域を増やさずに済むというメリットがある。

また、キャッシュサーバしか表に出さないことでオリジンサーバを隠し、また通信を振り分ける機能を持つことで、DDos攻撃などの驚異を最小化させられる。

CDN業者を選定する際のポイントとしては、以下のようなものがある。

  • サービスダウンが無い、応答速度が十分かなど、品質がしっかりしているか。
  • サービスは国内だけか、世界にも配信できるか
  • CDNを用いる場合のコスト、用いない場合のコスト比較が十分にできているか

DSR

DSR(Direct Server Rerutn)は、L4スイッチ(ロードバランサー)を用いた負荷分散手法の一つ。 大量のトラフィックが発生する大規模サイトなどで用いることが常識になっている。

DSRを採用するメリットには以下のようなものがある。

  • in-boundとout-boundの量がほぼイコールになるため、リクエスト量に対するL4スイッチのキャパシティが大幅に増える。
  • L4スイッチを好きなスイッチに接続できるため、ネットワーク構成が比較的自由になる。
  • 上位スイッチに1ポートだけL4スイッチを取り付ければ良いため、経済的

インフラエンジニアが身につけるべきこと

  • ドキュメントを読み込む力
  • カタログを読み込む力

まとめ

ITインフラの世界を理解するのに必要な知識を、広く浅く知ることができた一冊だったかなと思います。

技術面の知識だけでなく、課題を見極め、適切かつ迅速に対応する力も必要だというのは全くその通りだなと思いますし、そのためのヒントが多く書かれていた点が個人的にポイント高かったです。

ただ、日々の業務等で一度もインフラ運用に関わっていないとイメージすら湧き辛い箇所も結構ありました。 やはりそこは経験と失敗から学ばねばならないのでしょう。活字だけでは学びきれない知識がインフラ周りには多い。。。そんな印象です。

まぁそのあたりは、自分で色々遊んでいるうちに少しずつ身についてくるだろうと、悲観せずに学び続けようと思います。 流石に、ウン十万のサーバを個人で用意する覚悟はありませんが 笑

それでは、今回はこの辺で!

ではでは、またまた