Google

新生活家電:アイロン | コーヒーメーカー | シェーバー | シャワートイレ | キッチン家電 | ふとん乾燥機 | ホームベーカリー | 空気清浄 | 健康家電 | 照明・電球 | 炊飯ジャー | 掃除機 | 電気ケトル | 電子レンジ・トースター | 電動歯ブラシ | 冷蔵庫|

Google

Google

グーグル

Googleの全貌

 Googleの全貌


あなたのいろんな情報が収集されているよ。

Googleツールバー

訪問したサイト 、固有アプリケーション番号 、404エラーページ、ウェブフォーム構造、セキュリティに関する警告への応答、自動入力フォームのデータ、スペルチェックされたデータ

グーグルサーチ

グーグル検索から閲覧した全サイト 、日付 、時刻 、クエリ 、クリックした広告

Google Finance

株式ポートフォリオ 、所有株式 、株数 、購入日時 、購入価格

Checkout

買い手:名前、クレジットカード番号 、デビットカード番号 、カード有効期限 、カード照会番号、請求先住所 、電話番号 、メールアドレス

売り手:銀行口座番号 、住所 、政府発行身分証明書番号 、社会保障番号 、納税者番号 、販売数量 、取引量 、取引内容 、商品説明販売者名 、購入者名 、決済方法

YouTube

検索結果、アップロードしたビデオ、 投稿コメント、 登録したチャンネルやグループやお気に入り、 連絡先、みたビデオ全部、 データ転送頻度、 転送データ量 、クリック位置、

Gメール

メールの既読か削除か?、アカウント基本情報 、メールアドレス 、パスワード 、ユーザー名 、住所、郵便番号、 誕生日 、性別 、全メッセージ、アカウント利用状況、ストレージ使用状況、 ログイン回数、 クリックしたリンク、 連絡先、 スパム傾向、

チャット

会話内容、参加したすべての人 、サービス利用日時 、データ転送頻度 、転送データ量 、クリック

Googleカレンダー

名前 、言語 、タイムゾーン 、利用統計サービス利用期間 、データ転送頻度 、転送データ量、 イベント数 、カレンダー

Googleデスクトップ

インデックスと保存データ 、PCでの操作 、メール 、チャット 、ウェブ履歴、 固有アプリケーション番号、 検索回数と応答時間

GOOG-411(以下日本はなし)

電話番号電話をかけた時刻 、通話時間

Google Health

医療記録 、医師健康状態 、処方箋 、年齢 、性別 、人種血液型体重身長アレルギー 、処置 、検査結果 、予防接種

cf.no title


それを支える技術 ~巨大システムの内側の世界

Googleを支える技術 ~巨大システムの内側の世界 [WEB+DB PRESS plusシリーズ] (WEB+DB PRESSプラスシリーズ)

 Googleを支える技術 ~巨大システムの内側の世界 [WEB+DB PRESS plusシリーズ] (WEB+DB PRESSプラスシリーズ)

目次

最も壊れやすいシステム Webページを集めるには時間が掛かる 多数のダウンロードを同時に進める 終わることのないクローリング

Webページの構造解析 単語情報のインデックス リンク情報のインデックス ランキング情報のインデックス 検索順位は検索するまでわからない

    • 1.5 検索サーバ -- 求める情報を即座に見つける

検索結果に順位を付ける 複雑な検索も高速実行 ランキングの高速化は難しい -- 3段階のランキング

安価な大量のPCを利用する 一つのシステムとして結び付ける 数を増やせばいいというものでもない CPUHDDを無駄なく活用する 検索エンジンを改良しよう

    • 2.2 世界に広がる検索クラスタ

Web検索を全世界に提供する 近くのデータセンターに接続する 多数のサーバで負荷分散する 一定数のページごとにインデックスを分割 多数のインデックスを一度に検索 新しいWeb検索の手順

  • 第3章 Googleの分散ストレージ
    • 3.1 Google File System -- 分散ファイルシステム 巨大なディスク空間を実現する 膨大なデータの通り道となる データ転送に特化された基本設計 ファイル操作のためのインタフェース ファイルは自動的に複製される 読み込みは最寄りのサーバから 書き込みは複数のサーバへ 同時書き込みで不整合が起こる レコード追加によるアトミックな書き込み スナップショットはコピーオンライトで高速化 負荷が偏らないようにバランスが保たれる -- マスタの役割 あらゆる障害への対策を行う 読み書きともにスケールする データ管理の基盤として働く
    • 3.2 Bigtable -- 分散ストレージシステム

巨大なデータベースを構築する 構造化されたデータを格納する 読み書きはアトミックに実行される テーブルを分割して管理する 多数のサーバテーブルを分散処理 GFSとメモリを使ってデータ管理 -- タブレットサーバ テーブルの大きさに応じた負荷分散 さまざまな工夫によって性能を向上 使い方次第で性能は大きく変わる 大規模なデータ管理に利用されるBigtable

分散ストレージはここから始まる 5つのコピーが作られる ファイルシステムとして利用する ロックサービスとして利用する イベント通知を活用する マスタは投票で決められる

大量のデータを分散して加工する キーと値でデータ処理を表現する 転置インデックスを作ってみる MapReduceでできること 多数のワーカーによる共同作業 -- MapReduceの全体像 3つのステップで処理が進む 高速化には工夫が必要 実行過程には波がある -- MapReduceの過程 壊れたときにはやり直せばいい -- MapReduceにおける故障対策 驚きの読み込み性能 -- MapReduceの性能面

    • 4.2 Sawzall -- 手軽に分散処理するための専用言語

分散処理をもっと手軽に スクリプト言語のようなプログラム 副作用をもたらすことのない言語仕様 -- Sawzallの文法 標準で用意されるアグリゲータ より実際的なプログラム例 エラーは無視することも可能 内部的にキーが生成されている -- Sawzallはどのように実現されているのか スムーズにスケールする実行性能

  • 第5章 Googleの運用コスト
    • 5.1 何にいくら必要なのか

少なからぬハードウェア費用 安価なハードウェアによるコスト削減 電気代はハードウェアほどには高くない 間接的に上乗せされる電力の設備コスト 増加傾向にある電力コスト 

    • 5.2 CPUは何に電気を使うのか

電力と性能の関係とは CMOS回路消費電力 消費電力を抑えるためにできること クロック単位の処理効率を上げる マルチコアによる性能向上

クロックCPUでは電力効率が悪い マルチスレッドを生かして電力効率を上げる 電源の効率を向上させる

    • 5.4 データセンターの電力配備

ピーク電力はコストに直結する 決まった電力で多くのマシンを動かしたい

電力配分を階層的に設計する 電力枠を使い切るのは難しい マシンが増えれば電力も平準化される 省電力技術によりコスト効率が高まる 工夫次第で設備効率は二倍にもなる

10万台のハードディスクを調査する 故障の前兆となる要因は何か

長く使うと壊れやすくなるわけではない よく使うと壊れやすくなるとも限らない 温度が高いほど壊れやすいということもない いくつかのSMART値は故障率に大きく影響する 故障率に影響しないSMART値も多い SMART値だけではいつ故障するかはわからない ハードディスクと正しく向き合う

    • 5.6 全米に広がる巨大データセンター

レゴン州ダレス ノースカロライナ州レノア サウスカロライナ州バークレー郡 オクラホマ州プライア アイオワ州カウンシルブラフス

次世代Googleのスケール感 データセンターに処理を集約させる -- Bigdaddy

選ばれたプロジェクトだけが生き残る 少人数からなるプロジェクトチーム コードレビューにより品質を高める 早い段階から性能について考えられる 新しいWebサービスが始まるまで 情報は徹底して共有する

オペレーティングシステム プログラミング言語 データベース SCM(ソースコード構成管理) レビューシステム

    • 6.3 テストは可能な限り自動化する

プロジェクト横断的なチーム 自動テストを想定した設計を行う 基盤システムテストする -- Bigtableの例


* はてなダイアリーキーワード:Google


春の新生活用品特価、価格最大80%OFF
★コトバ★TASKS今日は何の日停電対策

????(????)??ŷ??

1. 4??25??(??)??ŷ?????????
==