apkmirror-scraper-compose
다음 구조 의 디렉토리 가 있습니다.
.
├── docker-compose.yml
├── privoxy
│ ├── config
│ └── Dockerfile
├── scraper
│ ├── Dockerfile
│ ├── newnym.py
│ └── requirements.txt
└── tor
└── Dockerfile
다음을 실행하려고합니다 docker-compose.yml
.
version: '3'
services:
privoxy:
build: ./privoxy
ports:
- "8118:8118"
links:
- tor
tor:
build:
context: ./tor
args:
password: ""
ports:
- "9050:9050"
- "9051:9051"
scraper:
build: ./scraper
links:
- tor
- privoxy
어디 Dockerfile
를위한이 tor
있다
FROM alpine:latest
EXPOSE 9050 9051
ARG password
RUN apk --update add tor
RUN echo "ControlPort 9051" >> /etc/tor/torrc
RUN echo "HashedControlPassword $(tor --quiet --hash-password $password)" >> /etc/tor/torrc
CMD ["tor"]
동안 그 privoxy
입니다
FROM alpine:latest
EXPOSE 8118
RUN apk --update add privoxy
COPY config /etc/privoxy/config
CMD ["privoxy", "--no-daemon"]
config
두 줄로 구성 되는 곳
listen-address 0.0.0.0:8118
forward-socks5 / tor:9050 .
그리고 Dockerfile
for scraper
는
FROM python:2.7-alpine
ADD . /scraper
WORKDIR /scraper
RUN pip install -r requirements.txt
CMD ["python", "newnym.py"]
여기서 requirements.txt
단일 행을 포함합니다 requests
. 마지막으로이 프로그램 newnym.py
은 Tor를 사용하여 IP 주소 변경이 작동하는지 간단히 테스트하도록 설계되었습니다.
from time import sleep, time
import requests as req
import telnetlib
def get_ip():
IPECHO_ENDPOINT = 'http://ipecho.net/plain'
HTTP_PROXY = 'http://privoxy:8118'
return req.get(IPECHO_ENDPOINT, proxies={'http': HTTP_PROXY}).text
def request_ip_change():
tn = telnetlib.Telnet('tor', 9051)
tn.read_until("Escape character is '^]'.", 2)
tn.write('AUTHENTICATE ""\r\n')
tn.read_until("250 OK", 2)
tn.write("signal NEWNYM\r\n")
tn.read_until("250 OK", 2)
tn.write("quit\r\n")
tn.close()
if __name__ == '__main__':
dts = []
try:
while True:
ip = get_ip()
t0 = time()
request_ip_change()
while True:
new_ip = get_ip()
if new_ip == ip:
sleep(1)
else:
break
dt = time() - t0
dts.append(dt)
print("{} -> {} in ~{}s".format(ip, new_ip, int(dt)))
except KeyboardInterrupt:
print("Stopping...")
print("Average: {}".format(sum(dts) / len(dts)))
는 docker-compose build
성공적으로 빌드하지만 내가하려고하면 docker-compose up
, 나는 다음과 같은 오류 메시지가 나타납니다 :
Creating network "apkmirrorscrapercompose_default" with the default driver
ERROR: could not find an available, non-overlapping IPv4 address pool among the defaults to assign to the network
이 오류 메시지에 대한 도움말을 찾으려고했으나 찾을 수 없습니다. 이 오류의 원인은 무엇입니까?
docker network ls
호스트에 네트워크가 이미 생성되어 있는지 확인하고 시도 할 수 있습니까?
docker network prune
. 이렇게하면 문제가 해결 될 것입니다
docker ps
실행중인 컨테이너가 없습니다.