Stroustrup 은 최근 C ++에 대한 대중적인 신화를 폭파하는 일련의 게시물을 게시했습니다 . 다섯 번째 오해는“C ++은 크고 복잡한 프로그램만을위한 것”입니다. 그것을 파기하기 위해 그는 웹 페이지를 다운로드하고 링크를 추출 하는 간단한 C ++ 프로그램을 작성 했습니다 . 여기있어:

#include <string>
#include <set>
#include <iostream>
#include <sstream>
#include <regex>
#include <boost/asio.hpp>

using namespace std;

set<string> get_strings(istream& is, regex pat)
{
    set<string> res;
    smatch m;
    for (string s; getline(is, s);)  // read a line
        if (regex_search(s, m, pat))
            res.insert(m[0]);              // save match in set
    return res;
}

void connect_to_file(iostream& s, const string& server, const string& file)
// open a connection to server and open an attach file to s
// skip headers
{
    if (!s)
        throw runtime_error{ "can't connect\n" };

    // Request to read the file from the server:
    s << "GET " << "http://" + server + "/" + file << " HTTP/1.0\r\n";
    s << "Host: " << server << "\r\n";
    s << "Accept: */*\r\n";
    s << "Connection: close\r\n\r\n";

    // Check that the response is OK:
    string http_version;
    unsigned int status_code;
    s >> http_version >> status_code;

    string status_message;
    getline(s, status_message);
    if (!s || http_version.substr(0, 5) != "HTTP/")
        throw runtime_error{ "Invalid response\n" };

    if (status_code != 200)
        throw runtime_error{ "Response returned with status code" };

    // Discard the response headers, which are terminated by a blank line:
    string header;
    while (getline(s, header) && header != "\r")
        ;
}

int main()
{
    try {
        string server = "www.stroustrup.com";
        boost::asio::ip::tcp::iostream s{ server, "http" };  // make a connection
        connect_to_file(s, server, "C++.html");    // check and open file

        regex pat{ R"((http://)?www([./#\+-]\w*)+)" }; // URL
        for (auto x : get_strings(s, pat))    // look for URLs
            cout << x << '\n';
    }
    catch (std::exception& e) {
        std::cout << "Exception: " << e.what() << "\n";
        return 1;
    }
}

Stroustrup에게 작고 읽기 쉬운 프로그램이 실제로 무엇인지 보여 주십시오.

1. 다운로드 http://www.stroustrup.com/C++.html

2. 모든 링크를 나열하십시오.

   http://www-h.eng.cam.ac.uk/help/tpl/languages/C++.html
   http://www.accu.org
   http://www.artima.co/cppsource
   http://www.boost.org
   ...
   

모든 언어를 사용할 수 있지만 타사 라이브러리는 허용되지 않습니다.

우승자

C ++ 답변 은 투표로 이겼지 만 반 타사 라이브러리 (규칙에 의해 허용되지 않음) 에 의존 하고 다른 가까운 경쟁자 Bash 와 함께 해킹 된 HTTP 클라이언트에 의존합니다 (HTTPS에서는 작동하지 않습니다, gzip, 리디렉션 등). 따라서 Wolfram 은 확실한 승자입니다. 크기와 가독성 측면에서 가까운 또 다른 솔루션은 PowerShell (설명을 개선 한 것)이지만 많은 관심을받지 못했습니다. 주류 언어 ( Python , C # )도 매우 가까워졌습니다.

볼프람

이건 완전한 속임수 인 것 같아

Import["http://www.stroustrup.com/C++.html", "Hyperlinks"]

정직한 파싱을 추가하십시오.

Cases[
 Import["http://www.stroustrup.com/C++.html", "XMLObject"],
 XMLElement["a", {___, "href" -> link_, ___}, ___] :> 
  link /; StringMatchQ[link, RegularExpression["((http://)?www([./#\\+-]\\w*)+)"]]
, Infinity]

C ++

#include <boost/asio.hpp>
#include <regex>
#include <iostream>
int main() {
    std::string server = "www.stroustrup.com";
    std::string request = "GET http://" + server + "/C++.html HTTP/1.0\r\nHost: " + server + "\r\n\r\n";
    boost::asio::ip::tcp::iostream s{server, "http"};
    s << request;
    std::regex pat{R"((http://)?www([./#\+-]\w*)+)"};
    std::smatch m;
    for (std::string l; getline(s, l);)
        if (std::regex_search(l, m, pat))
            std::cout << m[0] << "\n";
}

주요 단점은 boost :: asio의 어색한 특성입니다. 더 나은 라이브러리를 사용하면 더 짧을 수 있습니다.

Linux / OS X의 순수 Bash (외부 유틸리티 없음)

HTTP 클라이언트 소프트웨어가 악명 높다. 우리는 그런 종류의 의존성을 원하지 않습니다. 대신 적절한 헤더를 TCP 스트림으로 푸시하고 결과를 읽을 수 있습니다. 결과를 구문 분석하기 위해 grep 또는 sed와 같은 오래된 유틸리티를 호출 할 필요가 없습니다.

domain="www.stroustrup.com"
path="C++.html"
exec 3<> /dev/tcp/$domain/80
printf "GET /$path HTTP/1.1\r\nhost: %s\r\nConnection: close\r\n\r\n" "$domain" >&3
while read -u3; do
    if [[ "$REPLY" =~ http://[^\"]* ]]; then
        printf '%s\n' "$BASH_REMATCH"
    fi
done

Meh-더 읽기 쉽다고 생각합니다 ...

파이썬 2

import urllib2 as u, re
s = "http://www.stroustrup.com/C++.html"
w = u.urlopen(s)
h = w.read()
l = re.findall('"((http)s?://.*?)"', h)
print l

절름발이하지만 작동

씨#

using System;
using System.Net;
using System.Text.RegularExpressions;

class Program {
    static void Main() {
        string html = new WebClient().DownloadString("http://www.stroustrup.com/C++.html");
        foreach (Match match in Regex.Matches(html, @"https?://[^""]+"))
            Console.WriteLine(match);
    }
}

"타사 없음"은 오류입니다

"타사 없음"가정이 오류라고 생각합니다. 그리고 C ++에서 재사용 가능한 코드를 만들기가 너무 어렵 기 때문에 C ++ 개발자에게 고통을주는 특정 오류입니다. 작은 스크립트라도 아무 것도 개발할 때는 항상 재사용 가능한 코드를 사용할 수 있습니다.

문제는 Perl, Python, Ruby와 같은 언어에서 (몇 가지 예를 들면) 다른 사람의 코드를 재사용하는 것은 쉽지 않을뿐만 아니라 대부분의 사람들이 실제로 코드를 실제로 쓰는 방식입니다.

유지 관리가 거의 불가능한 ABI 요구 사항이있는 C ++은 훨씬 힘든 작업을 수행하므로 코드의 괴물 저장소이며 외부의 구성 성이 거의없는 Boost와 같은 프로젝트가 끝납니다.

CPAN 예

재미를 위해 여기에 정규식을 사용하여 HTML을 구문 분석하는 대신 HTML을 올바르게 구문 분석하는 CPAN 기반 예제 가 있습니다.

#!/usr/bin/perl
use HTML::LinkExtor;
sub callback {
   my ($tag, %links) = @_;
   print map { "$_\n" } values %links
}
$p = HTML::LinkExtor->new(\&callback, "http://www.stroustrup.com/C++.html");

유닉스 쉘

lynx -dump http://www.stroustrup.com/C++.html | grep -o '\w*://.*'

또한 ftp://링크를 찾습니다 :)

://구문에 의존하지 않는 다른 방법 :

lynx -dump -listonly http://www.stroustrup.com/C++.html | sed -n 's/^[ 0-9.]\+//p'

CSS 3

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
}
a {
  content: "";
}
a[href*="://"]::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}

이 코드는 사용자 스타일로 사용되어 페이지의 절대 링크 만 형식화되지 않은 목록으로 표시 할 수 있습니다. 브라우저에서 최소 글꼴 크기를 적용하면 제대로 작동하지 않을 수 있습니다.

그것은 제대로 작동 http://www.stroustrup.com/C++.html(주 !important에 background). 더 많은 스타일을 가진 다른 페이지에서 작업하려면 확장해야합니다 (더 많은 속성을 재설정하고 속성을 중요한 것으로 표시 등).

해시로 시작하는 인트라 페이지 링크를 제외하고 상대 링크를 포함하는 대체 버전 (안타깝게도 하드 코딩 된 절대 링크에 의존 함) :

* {
  margin: 0;
  padding: 0;
}
*:not(a) {
  font: 0/0 monospace;
  color: transparent;
  background: transparent !important;
  float: none !important;
  width: auto !important;
  border: none !important;
}
a {
  content: "";
}
a::after {
  display: none;
}
a:not([href^="#"])::after {
  content: attr(href);
  float: left;
  clear: left;
  display: block;
  font: 12px monospace;
  color: black;
}
a:not([href*="://"])::after {
  content: "http://www.stroustrup.com/" attr(href);
}

클로저

(->> (slurp "http://www.stroustrup.com")
     (re-seq #"(?:http://)?www(?:[./#\+-]\w*)+"))

이맥스 리스프

(with-current-buffer (url-retrieve-synchronously "http://www.stroustrup.com/C++.html")
  (while (re-search-forward "https?://[^\\\"]*")
    (print (match-string 0))))

스칼라

"""\"(https?://.*?)\"""".r.findAllIn(scala.io.Source.fromURL("http://www.stroustrup.com/C++.html").mkString).foreach(println)

PHP 5

<?php
preg_match_all('/"(https?:\/\/.*?)"/',file_get_contents('http://www.stroustrup.com/C++.html'),$m);
print_r($m[1]);

PowerShell

정규화 된 모든 URL (JavaScript, CSS 등)에 대한 텍스트 검색 :

[string[]][regex]::Matches((iwr "http://www.stroustrup.com/C++.html"), '\w+://[^"]+')

또는 앵커 태그로만 링크를 가져 오려면 (상대 URL 포함) :

(iwr "http://www.stroustrup.com/C++.html").Links | %{ $_.href }

주석의 짧은 버전 :

(iwr "http://www.stroustrup.com/C++.html").Links.href

(iwr "http://www.stroustrup.com/C++.html").Links.href-match":"

디

import std.net.curl, std.stdio;
import std.algorithm, std.regex;

void main() {
foreach(_;byLine("http://www.stroustrup.com/C++.html")
    .map!((a)=>a.matchAll(regex(`<a.*?href="(.*)"`)))
    .filter!("a")){ writeln(_.front[1]); }
}

Node.js

var http = require('http');

http.get('http://www.stroustrup.com/C++.html', function (res) {
    var data = '';
    res.on('data', function (d) {
        data += d;
    }).on('end', function () {
        console.log(data.match(/"https?:\/\/.*?"/g));
    }).setEncoding('utf8');
});

루비

require 'net/http'
result = Net::HTTP.get(URI.parse('http://www.stroustrup.com/C++.html'))
result.scan(/"((http)s?://.*?)"/)

하스켈

"\w"Text.Regex.Posix에서 일부 문제

import Network.HTTP
import Text.Regex.Posix
pattern = "((http://)?www([./#\\+-][a-zA-Z]*)+)"
site = "http://www.stroustrup.com/C++.html"

main = do
    file <- getResponseBody =<< simpleHTTP (getRequest site)
    let result = getAllTextMatches $ file =~ pattern
    putStr $ unlines result -- looks nicer

PHP

내가 알 수있는 한, 대부분의 최신 PHP 설치에는 DOM 처리가 제공되므로 HTML 내부의 앵커를 실제로 통과하는 것은 다음과 같습니다.

foreach (@DOMDocument::loadHTMLFile('http://stroustrup.com/C++.html')->getElementsByTagName('a') as $a) {
    if (in_array(parse_url($url = $a->getAttribute('href'), PHP_URL_SCHEME), ['http', 'https'], true)) {
        echo $url, PHP_EOL;
    }
}

내부 루프는 다음과 같이 단축 될 수 있습니다.

preg_match('~^https?://~', $url = $a->getAttribute('href')) && printf("%s\n", $url);

유닉스 쉘

wget -q -O - http://www.stroustrup.com/C++.html | sed -n '/http:/s/.*href="\([^"]*\)".*/\1/p' | sort

한 줄에 둘 이상의 링크가 있으면 작동하지 않는다는 것을 인정해야합니다.

자바

import java.util.regex.*;
class M{
    public static void main(String[]v)throws Throwable{
        Matcher m = Pattern.compile( "\"((http)s?://.*?)\"" )
            .matcher(
                 new Scanner(
                         new URL( "http://www.stroustrup.com/C++.html" )
                             .openStream(),
                         "UTF-8")
                     .useDelimiter("\\A")
                     .next());
        while(m.find())
            System.out.println(m.group());
    }
}

멋진, 근사한

"http://www.stroustrup.com/C++.html".toURL().text.findAll(/https?:\/\/[^"]+/).each{println it}

SQL (SQL Anywhere 16)

웹 페이지를 가져 오기위한 저장 프로 시저 정의

CREATE OR REPLACE PROCEDURE CPPWebPage()
URL 'http://www.stroustrup.com/C++.html'
TYPE 'HTTP';

단일 쿼리를 사용하여 결과 집합 생성

SELECT REGEXP_SUBSTR(Value,'"https?://[^""]+"',1,row_num) AS Link  
FROM (SELECT Value FROM CPPWebPage() WITH (Attribute LONG VARCHAR, Value LONG VARCHAR) 
      WHERE Attribute = 'Body') WebPage, 
      sa_rowgenerator( 1, 256 ) 
WHERE Link IS NOT NULL;

제한 사항 : 최대 256 개의 링크가 생성됩니다. 더 많은 링크가 존재하면 256을 적절한 값으로 올립니다.

CoffeeScript / NodeJS

require('http').get 'http://www.stroustrup.com/C++.html', (r) ->
    dt = '';
    r.on 'data', (d) -> dt += d
    r.on 'end' , (d) -> console.log dt.match /"((http)s?:\/\/.*?)"/g

펄

use LWP;
use feature 'say';

my $agent = new LWP::UserAgent();
my $response = $agent->get('http://www.stroustrup.com/C++.html');

say for $response->content =~ m<"(https?://.+?)">g;

아르 자형

html<-paste(readLines("http://www.stroustrup.com/C++.html"),collapse="\n")
regmatches(html,gregexpr("http[^([:blank:]|\\\"|<|&|#\n\r)]+",html))

... R은 주로 C로 작성되었지만 2 줄의 R 코드 뒤에 몇 줄의 C 코드가있을 것입니다.

목표 -C

NSString *s;
for (id m in [[NSRegularExpression regularExpressionWithPattern:@"\"((http)s?://.*?)\"" options:0 error:nil] matchesInString:(s=[NSString stringWithContentsOfURL:[NSURL URLWithString:@"http://www.stroustrup.com/C++.html"]])]){
    NSLog(@"%@",[s substringWithRange:[m range]]);
}

Tcl

package require http
set html [http::data [http::geturl http://www.stroustrup.com/C++.html]]
puts [join [regexp -inline -all {(?:http://)?www(?:[./#\+-]\w*)+} $html] \n]

가다

package main

import (
    "fmt"
    "io/ioutil"
    "net/http"
    "os"
    "regexp"
)

func main() {
    resp, err := http.Get("http://www.stroustrup.com/C++.html")
    if err != nil {
        fmt.Fprintln(os.Stderr, err)
        os.Exit(1)
    }
    defer resp.Body.Close()
    data, _ := ioutil.ReadAll(resp.Body)
    results := regexp.MustCompile(`https?://[^""]+`).FindAll(data, -1)
    for _, row := range results {
        fmt.Println(string(row))
    }
}

추신 : 이 코드는 전체 소스를 메모리로 읽으므로 regexp.FindReaderIndex스트림 검색을 사용하여 앱을 방탄으로 만듭니다.

CJam

CJam에는 정규 표현식이 없으므로이 접근법에서 다른 접근법을 사용해야했습니다.

"http://www.stroustrup.com/C++.html"g''/'"*'"/(;2%{_"http://"#!\"https://"#!e|},N*

먼저 모두 '를 로 변환 "한 다음 모두 를 분할하고 모든 "대체 문자열을 취한 다음 마지막으로 http://또는로 시작하는 문자열에 대해 해당 목록을 필터링합니다 https://. 그런 다음 필터링 된 각 문자열을 새 줄에 인쇄하십시오.

사용하여 시도 자바 인터프리터 등을

java -jar cjam-0.6.2.jar file.cjam

여기서 file.cjam에는 위 코드의 내용이 있습니다.

에프#

이 코드는 훨씬 짧을 수 있지만이 코드를 다시 읽거나 사용해야하므로 불필요한 유형 주석이 많을 경우 이와 같이 작성합니다. 표준 CLR 유형 Match 에 대해 패턴 일치를 활성화하기 위해 활성 패턴 MatchValue 를 사용 하는 방법을 보여줍니다.

open System.Net

let (|MatchValue|) (reMatch: Match) : string = reMatch.Value

let getHtml (uri : string) : string = 
    use webClient = WebClient() in
        let html : string = webClient.DownloadString(uri)
        html

let getLinks (uri : string) : string list =
    let html : string = getHtml uri
    let matches : MatchCollection = Regex.Matches(html, @"https?://[^""]+") 
    let links = [ for MatchValue reMatch in matches do yield reMatch ]
    links

let links = getLinks "http://www.stroustrup.com/C++.html" 
for link in links do
    Console.WriteLine(link)

편집 getLinks 자체 기능을 만들었습니다