En la actualidad Google NO puede indexar todo debido a que hay muchos contenidos restringidos, que para llegar a ellos requiere registro sobretodo en foros. También se dan los casos en que las webs o los foros permiten a Google que les indexe contenido restringido, se muestran en los resultados, pero cuando el usuario accede se le pide registro.
Google quiere indexarlo todo
Los contenidos restringidos impiden que Google llegue a toda la información e indexar contenidos restringidos crea situaciones incómodas de pensar que has encontrado la información pero luego te impide llegar a ella. El objetivo de Google es indicar en los resultados aquellos enlaces que requieren registro e indexar TODA la información. Esto creo que será fruto de nuevas discusiones sobre la privacidad y Google. Habrá que estar atento a Google Groups para próximas novedades.