OnionSearch：针对洋葱域名的URL搜索脚本使用指南

工具概述

OnionSearch是一款基于Python 3开发的工具，专门用于在不同的.onion搜索引擎中爬取URL地址。它能够帮助研究人员和安全专家在暗网中高效地收集信息。

系统要求

Python 3环境

支持的搜索引擎

当前版本支持以下.onion搜索引擎：

ahmia
darksearchio
onionland
notevil
darksearchenginer
phobos
onionsearchserver
torgle
onionsearchengine
tordex
tor66
tormax
haystack
multivac
evosearch
deeplink

安装方法

PyPI安装

pip3 install onionsearch

GitHub源码安装

git clone https://github.com/megadose/OnionSearch.git
cd OnionSearch/
python3 setup.py install

基本使用方法

命令结构

onionsearch [-h] [--proxy PROXY] [--output OUTPUT] [--continuous_write CONTINUOUS_WRITE] [--limit LIMIT] [--engines [ENGINES [ENGINES ...]]] [--exclude [EXCLUDE [EXCLUDE ...]]] [--fields [FIELDS [FIELDS ...]]] [--field_delimiter FIELD_DELIMITER] [--mp_units MP_UNITS] search

参数说明

参数	描述
`search`	要搜索的字符串或短语（必需）
`--proxy`	设置Tor代理（默认：127.0.0.1:9050）
`--output`	输出文件（默认：output_$SEARCH_$DATE.txt）
`--continuous_write`	渐进式写入输出文件（默认：False）
`--limit`	设置每个搜索引擎加载的最大页面数
`--engines`	指定要查询的搜索引擎（默认：全部）
`--exclude`	指定要排除的搜索引擎（默认：无）
`--fields`	指定CSV文件的输出字段
`--field_delimiter`	设置CSV字段分隔符
`--mp_units`	设置处理单元数量（默认：CPU核心数减1）

多处理行为

默认配置下，脚本会使用mp_units = cpu_count() - 1参数运行：

如果CPU有4个核心，将同时运行3个爬虫
可以自定义mp_units参数值，但建议使用默认值

使用示例

基本搜索

向所有搜索引擎查询"computer"：

onionsearch "computer"

排除特定引擎

查询"computer"但排除"Ahmia"和"Candle"：

onionsearch "computer" --exclude ahmia candle

指定搜索引擎

仅使用Tor66、DeepLink和Phobos查询"computer"：

onionsearch "computer" --engines tor66 deeplink phobos

限制页面数量

每个搜索引擎只查询3个页面：

onionsearch "computer" --engines tor66 deeplink phobos --limit 3

输出格式

默认输出

默认以CSV格式存储，包含以下字段：

"engine","name of the link","url"

自定义输出

使用--fields和--field_delimiter参数自定义输出：

添加"domain"字段：

"engine","name of the link","url","domain"

仅输出特定字段：

"engine","domain"

注意事项

使用前确保已正确配置Tor服务
根据实际需求调整并发数量（mp_units）
对于大规模搜索，建议使用--continuous_write参数避免数据丢失
遵守当地法律法规，合法使用该工具

许可证

该工具的具体许可证信息请参考其GitHub仓库。

OnionSearch：针对洋葱域名的URL搜索脚本使用指南工具概述 OnionSearch是一款基于Python 3开发的工具，专门用于在不同的.onion搜索引擎中爬取URL地址。它能够帮助研究人员和安全专家在暗网中高效地收集信息。系统要求 Python 3环境支持的搜索引擎当前版本支持以下.onion搜索引擎： ahmia darksearchio onionland notevil darksearchenginer phobos onionsearchserver torgle onionsearchengine tordex tor66 tormax haystack multivac evosearch deeplink 安装方法 PyPI安装 GitHub源码安装基本使用方法命令结构参数说明 | 参数 | 描述 | |------|------| | search | 要搜索的字符串或短语（必需） | | --proxy | 设置Tor代理（默认：127.0.0.1:9050） | | --output | 输出文件（默认：output_ $SEARCH_ $DATE.txt） | | --continuous_write | 渐进式写入输出文件（默认：False） | | --limit | 设置每个搜索引擎加载的最大页面数 | | --engines | 指定要查询的搜索引擎（默认：全部） | | --exclude | 指定要排除的搜索引擎（默认：无） | | --fields | 指定CSV文件的输出字段 | | --field_delimiter | 设置CSV字段分隔符 | | --mp_units | 设置处理单元数量（默认：CPU核心数减1） | 多处理行为默认配置下，脚本会使用 mp_units = cpu_count() - 1 参数运行：如果CPU有4个核心，将同时运行3个爬虫可以自定义 mp_units 参数值，但建议使用默认值使用示例基本搜索向所有搜索引擎查询"computer"：排除特定引擎查询"computer"但排除"Ahmia"和"Candle"：指定搜索引擎仅使用Tor66、DeepLink和Phobos查询"computer"：限制页面数量每个搜索引擎只查询3个页面：输出格式默认输出默认以CSV格式存储，包含以下字段：自定义输出使用 --fields 和 --field_delimiter 参数自定义输出：添加"domain"字段：仅输出特定字段：注意事项使用前确保已正确配置Tor服务根据实际需求调整并发数量（mp_ units）对于大规模搜索，建议使用 --continuous_write 参数避免数据丢失遵守当地法律法规，合法使用该工具许可证该工具的具体许可证信息请参考其GitHub仓库。