相信很多人都会用到网盘,同时了解到过一些「网盘聚合搜索引擎」,例如盘多多;PanSearch以及云盘之家这一类,其本质就是将多个不同的网盘服务的资源搜索功能整合到一个平台上,通过整便实现了更为高效的搜索,提高了资源查找的效率和便利性。
在其网盘聚合之前,更多的其实是「种子聚合搜索站」。通过爬虫技术或自有收集等等各种手段,获取种子资源并收录到数据库中,再借助API将数据库进行整合分类,最后通过前端web来进行搜索。只不过种子受做种人数影响下载速度,加之如今互联网的分享精神越来越差,所以种子用到的其实越来越少。而今天熊猫要介绍的便是基于DHT爬虫的种子搜索引擎与前端项目——「Bitmagnet-Next-Web」
部署该项目需要用到数据库,同时项目基于Bitmagnet,所以这里我们需要采用Docker Compose部署,其中得一些端口、映射路径以及变量需要根据自己设备环境适当更改。范本如下:
version: "3"
services:
bitmagnet-next-web:
image: 127.0.0.1:4321/journey0ad/bitmagnet-next-web:latest
container_name: bitmagnet-next-web
ports:
- "3050:3000"
restart: unless-stopped
environment:
- POSTGRES_DB_URL=postgres://postgres:postgres@postgres:5432/bitmagnet
# - POSTGRES_HOST=postgres
# - POSTGRES_PASSWORD=postgres
depends_on:
postgres:
condition: service_healthy
bitmagnet:
image: 127.0.0.1:4321/ghcr.io/bitmagnet-io/bitmagnet:latest
container_name: bitmagnet
ports:
# API and WebUI port:
- "3333:3333"
# BitTorrent ports:
- "3334:3334/tcp"
- "3334:3334/udp"
restart: unless-stopped
environment:
- POSTGRES_HOST=postgres
- POSTGRES_PASSWORD=postgres
# - TMDB_API_KEY=your_api_key
command:
- worker
- run
- --keys=http_server
- --keys=queue_server
# disable the next line to run without DHT crawler
- --keys=dht_crawler
depends_on:
postgres:
condition: service_healthy
postgres:
image: 127.0.0.1:4321/postgres:16-alpine
container_name: bitmagnet-postgres
volumes:
- /volume1/docker/Bitmagnet/postgres:/var/lib/postgresql/data
ports:
- "5431:5432"
restart: unless-stopped
environment:
- POSTGRES_PASSWORD=postgres
- POSTGRES_DB=bitmagnet
- PGUSER=postgres
shm_size: 1g
healthcheck:
test:
- CMD-SHELL
- pg_isready
start_period: 20s
interval: 10s
其中Bitmagnet容器中的keys需要自行填写,DHT也需要自行查找,这关系到你种子库的素材内容,由于版权以及内容可能涉及违禁,熊猫这里就不提供了。
同时由于国内镜像库纷纷下架,所以我们需要在容器名之前加上加速地址,熊猫这里采用的是自建的docker加速,所以用的是127.0.0.1:4321,这是一个内网地址,不要直接使用。这里建议用以下加速地址。
准备好一切之后我们打开NAS的SSH端口,用SSH工具连接上NAS后输入sudo -i获取管理员权限,再通过命令cd 项目路径的形式进到项目路径点,最后输入docker-compose up -d启动容器。
等待所有项目下载并启动好之后,这时候容器就算部署成功了。
体验该项目由三个部分组成,其中bitmagnet-next-web为前端搜索界面,以熊猫的上述的yml文件为例,那么地址就为NASIP+3050端口号,这时候就能看到这样的界面。
直接输入你想要的资源就能得到搜索结果,搜索结果支持大小与时间排序,同时也能看到收录时间,这里的收录时间为Bitmagnet容器建立之后爬资源的时间,而不是种子发布时间。
点开资源就能看到资源详情,同时磁力链接支持直接复制,下方还有文件列表以及内容预览窗。
在首页的右下角还能看到当前种子库的资源数量。
容器的第二部分则是我们的核心部分Bitmagnet,同样的按照熊猫的yml文件,该容器可以通过NASIP+3333端口打开web界面。该项目用于存放种子数据,同时提供索引,不过界面不支持中文。(由于素材涉及到版权或者违禁,做了打码处理)
通过网页翻译,无中文也影响不大,同时一般都直接用前端web搜索,这个界面几乎不会怎么用的。
点开资源可查看文件;编辑标签以及删除种子,同时在右边能看到文件大小以及发布时间。
总结项目蛮不错的,但作为一个DHT爬虫网络,最重要的还是持续不断的爬数据,相比起自己搭建,个人还是推荐直接用现成的,毕竟别人的数据库已经累计几百几千万了,而自己搭建需要慢慢累积,很多老资源其实并不好找。最后感谢粉丝@姜不吃提供的素材。
以上便是本期的全部内容了,如果你觉得还算有趣或者对你有所帮助,不妨点赞收藏,最后也希望能得到你的关注,咱们下期见!
老资源差不多没得了 前段时间找到的 刚刚看了一下 全没了..