深网

深网（英文名：Deep Web）又称不可见网、暗网，是指那些存储在网络数据库里、不能通过超链接访问而需要通过动态网页技术访问的资源集合，不属于可以被标准搜索引擎索引的表面网络。

1996年5月，深网系统的构想由美国海军研究实验所的3名科学家提出，2003年10月，美国政府认为其有利于政府工作的开展，正式开始实施。

深网具有匿名传递信息数据的特质，隐藏登录者访问信息的特点，因而被一些不法分子所利用进行非法活动，比如毒品交易、儿童色情、伪造身份等。以美国联邦调查局(FBI)为首的几家政府组织已经开始联手行动打击深网犯罪行动。

基本解释

整个Web看似杂乱无章，但如果按其所蕴涵信息的“深度”可以划分为SurfaceWeb和DeepWeb两大部分。SurfaceWeb是指通过超链接可以被传统搜索引擎索引到的页面的集合。DeepWeb是指Web中不能被传统的搜索引擎索引到的那部分内容。广义上来说，DeepWeb的内容主要包含4个方面：(1)通过填写表单形成对后台在线数据库的查询而得到的动态页面；(2)由于缺乏被指向的超链接而没有被搜索引擎索引到的页面，大约占整个比例的21.3%；(3)需要注册或其它限制才能访问的内容；(4)Web上可访问的非网页文件，比如图片文件、PDF和Word文档等。

而在实际中应用中，人们则更关注于DeepWeb中的第一部分内容。其原因不难理解，这部分内容对结构化数据的集成更有意义，可以采用的技术也更丰富。DeepWeb数据集成也主要是指对结构化信息的集成，我们同时把Web中可访问的在线数据库称为Web数据库或WDB。这些内容只有在被查询时才会由Web服务器动态生成页面，把结果返回给访问者（图1），因此没有超链接指向这些页面，这是和那些可以被直接访问的静态页面的根本区别。随着Web相关技术的日益成熟和DeepWeb所蕴含信息量的快速增长，通过对web数据库的访问逐渐成为获取信息的主要手段，而对DeepWeb的研究也越来越受到人们的关注。

深网资源

命名

伯格曼在The Journal of Electronic Publishing上发表一篇关于深网的重大论文中提到，吉尔。艾尔斯沃夫曾经使用“隐形网”这一术语表示那些没有被任何搜索引擎索引注册的网站。伯格曼还引用法兰克·加西亚在1996年1月的一篇文章：

这些网站可能已经被合理地设计出来了，但是他们却没有被任何搜索引擎编列索引，以至于事实上没有人能找到他们。我可以这样对这些不可见的网站说，你们是隐藏了的。我称之为隐形网。

早期另一个使用“隐形网”这一术语的是一家叫做“个人图书馆软件”公司的布鲁斯·芒特和马修·B·科尔，当他们公司在1996年12月推出和发行的一款软件时，他们对深网工具的有过这样的一番描述。

现在普遍接受的深网这一特定术语首次使用在2001年伯格曼的研究中。

索引方法

研究人员探寻了如何自动抓取深网内容。

2001年，斯利拉姆·拉格哈瓦（Sriram Raghavan）和赫克托·加西亚·莫利纳（Hector Garcia-Molina）发明了一个从用户请求界面表格收集关键词的深网抓取模型并且抓取深网资源。加利福尼亚大学洛杉矶分校的Alexandros Ntoulas、Petros Zerfos和Junghoo Cho创建了一个自动生成有意义的查询词的程序。

商业搜索引擎已经开始使用以上两种方法之一抓取深网。Sitemap协议（由谷歌于2005年首次开发并由Google引入）和mod oai是允许搜索引擎和其他网络服务探索深网解决方法。以上两种解决方法允许network service主动公布网址，这对于他们来说是容易的，因而允许自动探寻资源而不直接通过网络表面的链接。Google的深网探寻系统预先计算每个HTML表单并且添加结果HTML页面到Google搜索引擎索引。在这个系统里，使用三种方法计算提交词：

参考资料

美国FBI打击“深网”犯罪 中国或已有人涉足.环球国际.2024-03-08