URL에서 하위 도메인 가져 오기

URL에서 하위 도메인을 가져 오는 것은 처음에는 쉽습니다.

http://www.domain.example

첫 번째 마침표를 검색 한 다음 "http : //"다음에 오는 모든 것을 반환합니다. ...

그럼 당신은 기억 해요

http://super.duper.domain.example

오. 그래서 당신은 생각합니다. 좋아, 마지막 기간을 찾고, 한 단어로 돌아가서 이전에 모든 것을 얻으십시오!

그럼 당신은 기억 해요

http://super.duper.domain.co.uk

그리고 당신은 원점으로 돌아 왔습니다. 누구나 모든 TLD 목록을 저장하는 것 외에 훌륭한 아이디어가 있습니까?

누구나 모든 TLD 목록을 저장하는 것 외에 훌륭한 아이디어가 있습니까?

아니요, 각 TLD는 하위 도메인, 두 번째 수준 도메인 등으로 간주되는 항목이 다르기 때문입니다.

최상위 도메인, 두 번째 수준 도메인 및 하위 도메인이 있습니다. 기술적으로 말하면 TLD를 제외한 모든 것이 하위 도메인입니다.

domain.com.uk 예에서 "domain"은 하위 도메인, "com"은 두 번째 수준 도메인, "uk"는 TLD입니다.

따라서 질문은 처음 붉어지는 것보다 더 복잡하며 각 TLD가 어떻게 관리되는지에 따라 다릅니다. 특정 파티셔닝을 포함하는 모든 TLD의 데이터베이스와 두 번째 수준 도메인 및 하위 도메인으로 간주되는 항목이 필요합니다. 하지만 TLD가 너무 많지 않기 때문에 목록을 합리적으로 관리 할 수 ​​있지만 모든 정보를 수집하는 것은 간단하지 않습니다. 이러한 목록이 이미있을 수 있습니다.

http://publicsuffix.org/ 가 이러한 목록 중 하나 인 것처럼 보입니다 . 검색에 적합한 목록의 모든 일반적인 접미사 (.com, .co.uk 등)입니다. 여전히 파싱하기는 쉽지 않지만 적어도 목록을 유지할 필요는 없습니다.

"공용 접미사"는 인터넷 사용자가 이름을 직접 등록 할 수있는 접미사입니다. 공개 접미사의 예로는 ".com", ".co.uk"및 "pvt.k12.wy.us"가 있습니다. 공용 접미사 목록은 알려진 모든 공용 접미사 목록입니다.

공용 접미사 목록은 Mozilla 재단의 이니셔티브입니다. 모든 소프트웨어에서 사용할 수 있지만 원래 브라우저 제조업체의 요구를 충족하기 위해 만들어졌습니다. 예를 들어 브라우저는 다음을 수행 할 수 있습니다.

• 높은 수준의 도메인 이름 접미사에 개인 정보를 손상시키는 "슈퍼 쿠키"가 설정되지 않도록합니다.
• 사용자 인터페이스에서 도메인 이름의 가장 중요한 부분을 강조
• 사이트별로 기록 항목을 정확하게 정렬

목록을 살펴보면 사소한 문제가 아니라는 것을 알 수 있습니다. 나는 목록이 이것을 달성하는 유일한 올바른 방법이라고 생각합니다 ...

Adam이 말했듯이 쉽지는 않으며 현재 유일한 실용적인 방법은 목록을 사용하는 것입니다.

그럼에도 불구하고 예외가 있습니다. 예를 들어에 .uk없는 해당 수준에서 즉시 유효한 소수의 도메인이 .co.uk있으므로 예외로 추가해야합니다.

이것이 현재 주류 브라우저가이 작업을 수행하는 방식 example.co.uk입니다. 쿠키를 설정할 수 없는지 확인 .co.uk하여 .co.uk.

좋은 소식은 이미 http://publicsuffix.org/에 목록이 있다는 것 입니다.

IETF 에는 TLD가 도메인 구조가 어떻게 생겼는지 선언 할 수 있도록 일종의 표준을 만드는 작업도 있습니다 . 이것은 마치 .uk.com공개 접미사 인 것처럼 작동하지만 .com레지스트리에서 판매되지 않는와 같은 경우에 약간 복잡 합니다 .

Publicsuffix.org가 그 방법 인 것 같습니다. publicsuffix 데이터 파일 파일의 내용을 쉽게 구문 분석 할 수있는 많은 구현이 있습니다.

• Perl : 도메인 :: PublicSuffix
• 자바 : http://sourceforge.net/projects/publicsuffix/
• PHP : php-domain-parser
• C # / .NET : https://github.com/danesparza/domainname-parser
• Python : http://pypi.python.org/pypi/publicsuffix
• 루비 : domainatrix , public_suffix

Adam과 John이 이미 말했듯이 publicsuffix.org 는 올바른 방법입니다. 그러나 어떤 이유로 든이 접근 방식을 사용할 수없는 경우 모든 도메인의 99 %에 대해 작동하는 가정에 기반한 휴리스틱이 있습니다.

"실제"도메인을 하위 도메인 및 TLD와 구별하는 속성이 하나 있습니다 (모두는 아니지만 거의 모두). 이것이 바로 DNS의 MX 레코드입니다. 이를 검색하는 알고리즘을 만들 수 있습니다. 호스트 이름의 일부를 하나씩 제거하고 MX 레코드를 찾을 때까지 DNS를 쿼리합니다. 예:

super.duper.domain.co.uk => no MX record, proceed
duper.domain.co.uk       => no MX record, proceed
domain.co.uk             => MX record found! assume that's the domain

다음은 PHP의 예입니다.

function getDomainWithMX($url) {
    //parse hostname from URL 
    //http://www.example.co.uk/index.php => www.example.co.uk
    $urlParts = parse_url($url);
    if ($urlParts === false || empty($urlParts["host"])) 
        throw new InvalidArgumentException("Malformed URL");

    //find first partial name with MX record
    $hostnameParts = explode(".", $urlParts["host"]);
    do {
        $hostname = implode(".", $hostnameParts);
        if (checkdnsrr($hostname, "MX")) return $hostname;
    } while (array_shift($hostnameParts) !== null);

    throw new DomainException("No MX record found");
}

이미 말했듯이 공용 접미사 목록 은 도메인을 올바르게 구문 분석하는 유일한 방법입니다. PHP의 경우 TLDExtract 를 사용해 볼 수 있습니다 . 다음은 샘플 코드입니다.

$extract = new LayerShifter\TLDExtract\Extract();

$result = $extract->parse('super.duper.domain.co.uk');
$result->getSubdomain(); // will return (string) 'super.duper'
$result->getSubdomains(); // will return (array) ['super', 'duper']
$result->getHostname(); // will return (string) 'domain'
$result->getSuffix(); // will return (string) 'co.uk'

publicsuffix.org의 정보를 기반으로 clojure에이 프로그램을 작성했습니다.

https://github.com/isaksky/url_dom

예를 들면 :

(parse "sub1.sub2.domain.co.uk") 
;=> {:public-suffix "co.uk", :domain "domain.co.uk", :rule-used "*.uk"}

C 라이브러리 (Python에서 데이터 테이블 생성 포함)의 경우 빠르고 공간 효율적인 http://code.google.com/p/domain-registry-provider/ 를 작성했습니다 .

라이브러리는 데이터 테이블에 ~ 30kB를 사용하고 C 코드에 ~ 10kB를 사용합니다. 컴파일 시간에 테이블이 구성되므로 시작 오버 헤드가 없습니다. 자세한 내용은 http://code.google.com/p/domain-registry-provider/wiki/DesignDoc 을 참조하세요.

테이블 생성 코드 (Python)를 더 잘 이해하려면 여기에서 시작하십시오. http://code.google.com/p/domain-registry-provider/source/browse/trunk/src/registry_tables_generator/registry_tables_generator.py

C API를 더 잘 이해하려면 다음을 참조하십시오. http://code.google.com/p/domain-registry-provider/source/browse/trunk/src/domain_registry/domain_registry.h

정확히 작동하지 않지만 도메인을 하나씩 가져와 응답을 확인하여 유용한 답변을 얻을 수 있습니다. 즉, ' http : // uk '를 가져온 다음 ' http://co.uk '를 가져옵니다 . , ' http://domain.co.uk '. 오류가 아닌 응답을 받으면 도메인이 있고 나머지는 하위 도메인입니다.

때때로 당신은 그것을 시도해야합니다 :)

편집하다:

Tom Leys는 댓글에서 일부 도메인은 www 하위 도메인에만 설정되어 위 테스트에서 잘못된 답을 제공한다고 지적합니다. 좋은 지적! 아마도 가장 좋은 방법은 ' http : // www ' 및 ' http : // '로 각 부분을 확인 하고 도메인 이름의 해당 섹션에 대한 히트로 계산하는 것입니다. 우리는 여전히 'web.domain.com'과 같은 '대체'배열을 놓치고 있지만 한동안 그 중 하나를 실행하지 않았습니다. :)

URIBuilder를 사용하여 URIBUilder.host 속성을 "."의 배열로 분할합니다. 이제 도메인이 분할 된 어레이가 있습니다.

echo tld('http://www.example.co.uk/test?123'); // co.uk

/**
 * http://publicsuffix.org/
 * http://www.alandix.com/blog/code/public-suffix/
 * http://tobyinkster.co.uk/blog/2007/07/19/php-domain-class/
 */
function tld($url_or_domain = null)
{
    $domain = $url_or_domain ?: $_SERVER['HTTP_HOST'];
    preg_match('/^[a-z]+:\/\//i', $domain) and 
        $domain = parse_url($domain, PHP_URL_HOST);
    $domain = mb_strtolower($domain, 'UTF-8');
    if (strpos($domain, '.') === false) return null;

    $url = 'http://mxr.mozilla.org/mozilla-central/source/netwerk/dns/effective_tld_names.dat?raw=1';

    if (($rules = file($url)) !== false)
    {
        $rules = array_filter(array_map('trim', $rules));
        array_walk($rules, function($v, $k) use(&$rules) { 
            if (strpos($v, '//') !== false) unset($rules[$k]);
        });

        $segments = '';
        foreach (array_reverse(explode('.', $domain)) as $s)
        {
            $wildcard = rtrim('*.'.$segments, '.');
            $segments = rtrim($s.'.'.$segments, '.');

            if (in_array('!'.$segments, $rules))
            {
                $tld = substr($wildcard, 2);
                break;
            }
            elseif (in_array($wildcard, $rules) or 
                    in_array($segments, $rules))
            {
                $tld = $segments;
            }
        }

        if (isset($tld)) return $tld;
    }

    return false;
}

방금 objc 라이브러리를 작성했습니다 : https://github.com/kejinlu/KKDomain

이 lib tld.js : JavaScript API를 사용하여 복잡한 도메인 이름, 하위 도메인 및 URI에 대해 작업 할 수 있습니다 .

tldjs.getDomain('mail.google.co.uk');
// -> 'google.co.uk'

브라우저에서 루트 도메인을 얻는 경우. 이 lib AngusFu / browser-root-domain을 사용할 수 있습니다 .

var KEY = '__rT_dM__' + (+new Date());
var R = new RegExp('(^|;)\\s*' + KEY + '=1');
var Y1970 = (new Date(0)).toUTCString();

module.exports = function getRootDomain() {
  var domain = document.domain || location.hostname;
  var list = domain.split('.');
  var len = list.length;
  var temp = '';
  var temp2 = '';

  while (len--) {
    temp = list.slice(len).join('.');
    temp2 = KEY + '=1;domain=.' + temp;

    // try to set cookie
    document.cookie = temp2;

    if (R.test(document.cookie)) {
      // clear
      document.cookie = temp2 + ';expires=' + Y1970;
      return temp;
    }
  }
};

쿠키 사용은 까다 롭습니다.

임의의 URL 목록에서 하위 도메인 및 / 또는 도메인을 추출하려는 경우이 Python 스크립트가 유용 할 수 있습니다. 하지만 조심하세요. 완벽하지는 않습니다. 이것은 일반적으로 해결하기 까다로운 문제이며 예상하는 도메인의 화이트리스트가있는 경우 매우 유용합니다.

1. publicsuffix.org에서 최상위 도메인 가져 오기

수입 요청

URL = 'https://publicsuffix.org/list/public_suffix_list.dat'
페이지 = requests.get (url)

도메인 = []
page.text.splitlines ()의 행 :
    line.startswith ( '//') :
        계속하다
    그밖에:
        도메인 = line.strip ()
        도메인 :
            domains.append (도메인)

도메인 = [d [2 :] if d.startswith ( '*.') else d for d in domains]
print ( '{} 도메인을 찾았습니다'.format (len (도메인)))

2. 정규식 빌드

다시 가져 오기

_ 정규식 = ''
도메인의 도메인 :
    _regex + = r '{} |'.format (domain.replace ( '.', '\.'))

subdomain_regex = r '/([^/]*)\.[^/.]+\.({})/.*$'. format (_regex)
domain_regex = r '([^ /.] + \. ({})) /.*$'. format (_regex)

3. URL 목록에 정규식 사용

FILE_NAME = ''# 여기에 CSV 파일 이름 입력
URL_COLNAME = ''# 여기에 URL 열 이름 입력

팬더를 pd로 가져 오기

df = pd.read_csv (FILE_NAME)
urls = df [URL_COLNAME] .astype (str) + '/'# 참고 : 정규식을 돕기 위해 해킹으로 / 추가

df [ 'sub_domain_extracted'] = urls.str.extract (pat = subdomain_regex, expand = True) [0]
df [ 'domain_extracted'] = urls.str.extract (pat = domain_regex, expand = True) [0]

df.to_csv ( 'extracted_domains.csv', index = False)

http : //와 함께 제거 할 일반적인 접미사 (.co.uk, .com 등) 목록을 사용하면 " http : // sub 대신"sub.domain "만 사용할 수 있습니다 . domain.suffix "또는 적어도 내가 할 일입니다.

가장 큰 문제는 가능한 접미사 목록입니다. 결국 많은 것이 있습니다.

publicsuffix.org 목록을 간략히 살펴보면 최종 세그먼트가 두 문자 인 도메인에서 마지막 세 세그먼트 (여기서 "세그먼트"는 두 점 사이의 섹션을 의미 함)를 제거하여 합리적인 근사치를 만들 수있는 것으로 보입니다. 국가 코드이고 더 세분화 될 것이라는 가정하에. 마지막 세그먼트가 "us"이고 마지막에서 두 번째 세그먼트도 두 문자 인 경우 마지막 네 세그먼트를 제거합니다. 다른 모든 경우에는 마지막 두 세그먼트를 제거하십시오. 예 :

• http : //www.domain.example

"example"은 두 문자가 아니므로 "www"는 그대로두고 "domain.example"을 제거하십시오.

• http : //super.duper.domain.example

"example"은 두 문자가 아니므로 "super.duper"는 그대로두고 "domain.example"을 제거하십시오.

• http://super.duper.domain.co.uk

"uk"는 2 자 ( "us"는 아님)이므로 "super.duper"는 그대로두고 "domain.co.uk"를 제거합니다.

• http://foo.pvt.k12.wy.us

"us"는 두 문자이고 "us"이고 "wy"도 두 문자이므로 "foo"는 그대로두고 "pvt.k12.wy.us"를 제거하십시오.

이것은 지금까지 응답에서 본 모든 예제에서 작동하지만 합리적인 근사치로 남아 있습니다. 참조 용으로 사용할 실제 목록을 만들거나 얻지 않고도 얻을 수있는 것과 비슷하다고 생각하지만 완전히 정확하지는 않습니다.