TophantTechnology/ARL
Fork: 847 Star: 4899 (更新于 1970-01-01 00:00:00)
license: NOASSERTION
Language: Python .
ARL(Asset Reconnaissance Lighthouse)资产侦察灯塔系统旨在快速侦察与目标关联的互联网资产,构建基础资产信息库。 协助甲方安全团队或者渗透测试人员有效侦察和检索资产,发现存在的薄弱点和攻击面。
最后发布版本: v2.6.2 ( 2024-04-19 15:13:45)
ARL(Asset Reconnaissance Lighthouse)资产侦察灯塔系统
资产灯塔,不仅仅是域名收集
简介
旨在快速侦察与目标关联的互联网资产,构建基础资产信息库。 协助甲方安全团队或者渗透测试人员有效侦察和检索资产,发现存在的薄弱点和攻击面。
在开始使用之前,请务必阅读并同意免责声明中的条款,否则请勿下载安装使用本系统。
特性
- 域名资产发现和整理
- IP/IP 段资产整理
- 端口扫描和服务识别
- WEB 站点指纹识别
- 资产分组管理和搜索
- 任务策略配置
- 计划任务和周期任务
- Github 关键字监控
- 域名/IP 资产监控
- 站点变化监控
- 文件泄漏等风险检测
- nuclei PoC 调用
- WebInfoHunter 调用和监控
系统要求
目前暂不支持Windows,初次体验可采用Docker方式运行,长期使用建议采用源码安装方式运行。系统配置建议:CPU:4线程 内存:8G 带宽:10M。
由于自动资产发现过程中会有大量的的发包,建议采用云服务器可以带来更好的体验。
Docker 启动
cd /opt/
mkdir docker_arl
wget -O docker_arl/docker.zip https://github.com/TophantTechnology/ARL/releases/download/v2.6.2/docker.zip
cd docker_arl
unzip -o docker.zip
docker volume create arl_db
docker compose pull
docker compose up -d
Ubuntu 下可以直接执行 apt-get install docker.io docker-compose -y
安装相关依赖
详细说明可以参考: Docker 环境安装 ARL
截图
-
登录页面
默认端口5003 (https), 默认用户名密码admin/arlpass
-
任务页面
-
子域名页面
-
站点页面
-
资产监控页面 详细说明可以参考:资产分组和监控功能使用说明
-
策略页面
-
筛选站点进行任务下发 详细说明可以参考: 2.3-新添加功能详细说明
-
计划任务 详细说明可以参考: 2.4.1-新添加功能详细说明
-
GitHub 监控任务
任务选项说明
编号 | 选项 | 说明 |
---|---|---|
1 | 任务名称 | 任务名称 |
2 | 任务目标 | 任务目标,支持IP,IP段和域名。可一次性下发多个目标 |
3 | 域名爆破类型 | 对域名爆破字典大小, 大字典:常用2万字典大小。测试:少数几个字典,常用于测试功能是否正常 |
4 | 端口扫描类型 | ALL:全部端口,TOP1000:常用top 1000端口,TOP100:常用top 100端口,测试:少数几个端口 |
5 | 域名爆破 | 是否开启域名爆破 |
6 | DNS字典智能生成 | 根据已有的域名生成字典进行爆破 |
7 | 域名查询插件 | 已支持的数据源为13个,alienvault , certspotter ,crtsh ,fofa ,hunter 等 |
8 | ARL 历史查询 | 对arl历史任务结果进行查询用于本次任务 |
9 | 端口扫描 | 是否开启端口扫描,不开启站点会默认探测80,443 |
10 | 服务识别 | 是否进行服务识别,有可能会被防火墙拦截导致结果为空 |
11 | 操作系统识别 | 是否进行操作系统识别,有可能会被防火墙拦截导致结果为空 |
12 | SSL 证书获取 | 对端口进行SSL 证书获取 |
13 | 跳过CDN | 对判定为CDN的IP, 将不会扫描端口,并认为80,443是端口是开放的 |
14 | 站点识别 | 对站点进行指纹识别 |
15 | 搜索引擎调用 | 利用搜索引擎搜索下发的目标爬取对应的URL和子域名 |
16 | 站点爬虫 | 利用静态爬虫对站点进行爬取对应的URL |
17 | 站点截图 | 对站点首页进行截图 |
18 | 文件泄露 | 对站点进行文件泄露检测,会被WAF拦截 |
19 | Host 碰撞 | 对vhost配置不当进行检测 |
20 | nuclei 调用 | 调用nuclei 默认PoC 对站点进行检测 ,会被WAF拦截,请谨慎使用该功能 |
21 | WIH 调用 | 调用 WebInfoHunter 工具在JS中收集域名,AK/SK等信息 |
22 | WIH 监控任务 | 对资产分组中的站点周期性 调用 WebInfoHunter 工具在JS中域名等信息进行监控 |
配置参数说明
Docker环境配置文件路径 docker/config-docker.yaml
配置 | 说明 |
---|---|
CELERY.BROKER_URL | rabbitmq连接信息 |
MONGO | mongo 连接信息 |
QUERY_PLUGIN | 域名查询插件数据源Token 配置 |
GEOIP | GEOIP 数据库路径信息 |
FOFA | FOFA API 配置信息 |
DINGDING | 钉钉消息推送配置 |
邮箱发送配置 | |
GITHUB.TOKEN | GITHUB 搜索 TOKEN |
ARL.AUTH | 是否开启认证,不开启有安全风险 |
ARL.API_KEY | arl后端API调用key,如果设置了请注意保密 |
ARL.BLACK_IPS | 为了防止SSRF,屏蔽的IP地址或者IP段 |
ARL.PORT_TOP_10 | 自定义端口,对应前端端口测试选项 |
ARL.DOMAIN_DICT | 域名爆破字典,对应前端大字典选项 |
ARL.FILE_LEAK_DICT | 文件泄漏字典 |
ARL.DOMAIN_BRUTE_CONCURRENT | 域名爆破并发数配置 |
ARL.ALT_DNS_CONCURRENT | 组合生成的域名爆破并发数 |
PROXY.HTTP_URL | HTTP代理URL设置 |
FEISHU | 飞书消息推送配置 |
WXWORK | 企业微信消息推送 |
忘记密码重置
当忘记了登录密码,可以执行下面的命令,然后使用 admin/admin123
就可以登录了。
docker exec -ti arl_mongodb mongo -u admin -p admin
use arl
db.user.drop()
db.user.insert({ username: 'admin', password: hex_md5('arlsalt!@#'+'admin123') })
源码安装
仅仅适配了 centos 7 ,且灯塔安装目录为/opt/ARL
如果在其他目录可以创建软连接,且安装了四个服务分别为arl-web
, arl-worker
, arl-worker-github
, arl-scheduler
wget https://raw.githubusercontent.com/TophantTechnology/ARL/master/misc/setup-arl.sh
chmod +x setup-arl.sh
./setup-arl.sh
FAQ
请访问如下链接FAQ
写在最后
目前ARL仅仅只是完成了对资产的部分维度的发现和收集,自动发现过程中难免出现覆盖度不全、不精准、不合理等缺陷的地方还请反馈至我们。
最近版本更新:(数据更新于 1970-01-01 00:00:00)
2024-04-19 15:13:45 v2.6.2
2023-12-29 14:42:20 v2.6.1
2023-10-17 15:59:10 v2.6
2023-05-18 11:27:00 v2.5.5
2023-03-17 16:22:08 v2.5.4
2023-01-06 17:21:50 v2.5.3
2022-08-25 19:52:14 v2.5.2
2022-02-21 16:44:28 v2.5.1
2021-12-24 15:28:44 v2.5
2021-09-28 13:50:23 v2.4.1
主题(topics):
arl, asset-reconnaissance-lighthouse, bugbounty, pentest-tool, python, recon, security-tools
TophantTechnology/ARL同语言 Python最近更新仓库
2024-11-22 02:39:01 goauthentik/authentik
2024-11-22 00:03:47 comfyanonymous/ComfyUI
2024-11-21 22:06:18 rashevskyv/dbi
2024-11-21 21:09:02 xtekky/gpt4free
2024-11-21 20:03:58 ultralytics/ultralytics
2024-11-21 00:54:04 hect0x7/JMComic-Crawler-Python