グーグル、ウェブクローリング作業の範囲を公表

文:Stephen Shankland(CNET News.com)
翻訳校正:ラテックス・インターナショナル 2008年07月29日 13時26分

  • このエントリーをはてなブックマークに追加

 米国家安全保障局がGoogleに多くの誇れる権利を委ね、自身のコンピュータの問題について話すことができないのは残念なことだ。

 米国時間7月25日に投稿されたブログの中で、Googleは、検索結果をユーザーに提供する前に行う必要があるウェブのインデックス作成と処理という検索業務の課題について詳しく説明した。内容を短くまとめると、Googleには大きなことを考える以外に選択肢はないということだ。

 最初に行われるのはネットサーフィンだ。ソフトウェアエンジニアであるJesse Alpert氏とNissan Hajaj氏は、「まず、巧妙なリンク構成の初期ページから各リンクをたどって新しいページに移動する。次に、それらの新しいページのリンクからさらに別のページに移動していき、最終的には膨大なリンクのリストが作られる。重複するリンクを削除した後でも、一意のURLが1兆もあり、ウェブページの数は1日数十億ページ増加している」と述べている。

 次に、どのページがどのページにリンクしているかを数学的に表現する「リンクグラフ」を解析する。これがGoogleの「PageRank」アルゴリズムの基礎で、他の重要なページからリンクされるページの重要度を割り当てるのが、Googleの検索エンジンの特徴だ。

 Googleでは当初、同社が集めた、たかだが2600万ページのPageRankの計算をワークステーションを使って「2時間」で終え、結果をかなり長い間使っていた。現在では、常にネットサーフィンを行い、「1日数回」リンクグラフを再計算している。

 「1兆のURLで構成されるこのグラフは、1兆の交差点で構成される地図に似ている。そのため、1日に何度も、米国内のすべての道路のすべての交差点を十分に探索するような計算を行っている。ただし、Googleが計算している地図には、米国よりも約5万倍大きく、5万倍の数の道路、交差点が含まれている」(同エンジニア)

 Googleは、選択肢はユーザー側にあり、クリック一つで競争相手を選べる、と言いたがる。これはもっともな指摘ではある。だが、ブログ投稿は、検索市場では、新規参入する際の障壁がいかに高いかということも明確に表している。このことは、Yahooの「BOSS(Build Your Own Search Service)」プログラムが関心を集めている理由の1つになっている。BOSSでは、検索市場の新規参入企業は、広告または利益分配提携と交換で、Yahooのクローリング、インデックス作成、検索テクノロジを活用できる。

この記事は海外CNET Networks発のニュースをシーネットネットワークスジャパン編集部が日本向けに編集したものです。海外CNET Networksの記事へ

ZDNet Japan 記事を毎朝メールでまとめ読み(登録無料)

  • このエントリーをはてなブックマークに追加

この記事を読んだ方に

関連キーワード
クラウドコンピューティング

関連ホワイトペーパー

連載

CIO
シェアリングエコノミーの衝撃
デジタル“失敗学”
コンサルティング現場のカラクリ
Rethink Internet:インターネット再考
インシデントをもたらすヒューマンエラー
トランザクションの今昔物語
エリック松永のデジタルIQ道場
研究現場から見たAI
Fintechの正体
米ZDNet編集長Larryの独り言
大木豊成「仕事で使うアップルのトリセツ」
山本雅史「ハードから読み解くITトレンド放談」
田中克己「展望2020年のIT企業」
松岡功「一言もの申す」
松岡功「今週の明言」
内山悟志「IT部門はどこに向かうのか」
林 雅之「デジタル未来からの手紙」
谷川耕一「エンプラITならこれは知っとけ」
大河原克行「エンプラ徒然」
内製化とユーザー体験の関係
「プロジェクトマネジメント」の解き方
ITは「ひみつ道具」の夢を見る
セキュリティ
エンドポイントセキュリティの4つの「基礎」
企業セキュリティの歩き方
サイバーセキュリティ未来考
ネットワークセキュリティの要諦
セキュリティの論点
スペシャル
エンタープライズAIの隆盛
インシュアテックで変わる保険業界
顧客は勝手に育たない--MAツール導入の心得
「ひとり情シス」の本当のところ
ざっくり解決!SNS担当者お悩み相談室
生産性向上に効くビジネスITツール最前線
ざっくりわかるSNSマーケティング入門
課題解決のためのUI/UX
誰もが開発者になる時代 ~業務システム開発の現場を行く~
「Windows 10」法人導入の手引き
ソフトウェア開発パラダイムの進化
エンタープライズトレンド
10の事情
座談会@ZDNet
Dr.津田のクラウドトップガン対談
Gartner Symposium
IBM World of Watson
de:code
Sapphire Now
VMworld
Microsoft WPC
Microsoft Connect()
HPE Discover
Oracle OpenWorld
Dell Technologies World
AWS re:Invent
AWS Summit
PTC LiveWorx
吉田行男「より賢く活用するためのOSS最新動向」
古賀政純「Dockerがもたらすビジネス変革」
中国ビジネス四方山話
ベトナムでビジネス
日本株展望
企業決算
このサイトでは、利用状況の把握や広告配信などのために、Cookieなどを使用してアクセスデータを取得・利用しています。 これ以降ページを遷移した場合、Cookieなどの設定や使用に同意したことになります。
Cookieなどの設定や使用の詳細、オプトアウトについては詳細をご覧ください。
[ 閉じる ]