Java에서 구분 된 문자열을 분할하는 가장 빠른 방법

구분 된 문자열에서 다중 열 정렬 기능을 제공하는 비교기를 작성 중입니다. 현재 원시 문자열을 토큰으로 분할하기 위해 선호하는 선택으로 String 클래스의 split 메소드를 사용하고 있습니다.

이것이 원시 문자열을 문자열 배열로 변환하는 가장 좋은 방법입니까? 나는 수백만 행을 정렬하므로 접근 방식이 중요하다고 생각합니다.

잘 실행되는 것처럼 보이며 매우 쉽지만 Java에 더 빠른 방법이 있는지 확실하지 않습니다.

내 비교기에서 정렬이 작동하는 방법은 다음과 같습니다.

public int compare(String a, String b) {

    String[] aValues = a.split(_delimiter, _columnComparators.length);
    String[] bValues = b.split(_delimiter, _columnComparators.length);
    int result = 0;

    for( int index : _sortColumnIndices ) {
        result = _columnComparators[index].compare(aValues[index], bValues[index]);
        if(result != 0){
            break;
        }
    }
    return result;
}

다양한 접근 방식을 벤치마킹 한 후 믿거 나 말거나 최신 버전의 Java를 사용하여 split 방법이 가장 빠릅니다. 완성 된 비교기를 여기에서 다운로드 할 수 있습니다 : https://sourceforge.net/projects/multicolumnrowcomparator/

이에 대한 빠르고 더러운 벤치 마크 테스트를 작성했습니다. 7 가지 방법을 비교하는데,이 중 일부는 분리되는 데이터에 대한 특정 지식이 필요합니다.

기본 범용 분할의 경우 Guava Splitter는 String # split ()보다 3.5 배 빠릅니다.이를 사용하는 것이 좋습니다. Stringtokenizer는 그보다 약간 빠르며 indexOf로 자신을 분할하는 것이 다시 두 배 빠릅니다.

코드 및 자세한 내용은 http://demeranville.com/battle-of-the-tokenizers-delimited-text-parser-performance/를 참조 하십시오.

@Tom이 쓰는 것처럼 indexOf 형식의 접근 방식은보다 빠릅니다 String.split(). 후자는 정규식을 처리하고 추가 오버 헤드가 많기 때문입니다.

그러나 하나의 알고리즘 변경으로 인해 최고 속도가 향상 될 수 있습니다. 이 Comparator를 사용하여 ~ 100,000 개의 문자열을 정렬한다고 가정하고을 쓰지 마십시오 Comparator<String>. 정렬 과정에서 동일한 문자열이 여러 번 비교 될 수 있으므로 여러 번 나누는 등입니다.

모든 문자열 을 String [] s로 한 번 분할 Comparator<String[]>하고 String []을 정렬하십시오. 그런 다음 마지막에 모두 결합 할 수 있습니다.

또는 Map을 사용하여 String-> String []을 캐시하거나 그 반대로 할 수도 있습니다. 예를 들어, (sketchy) 또한, 당신은 속도를 위해 메모리를 거래하고 있습니다. 많은 RAM이 있기를 바랍니다.

HashMap<String, String[]> cache = new HashMap();

int compare(String s1, String s2) {
   String[] cached1 = cache.get(s1);
   if (cached1  == null) {
      cached1 = mySuperSplitter(s1):
      cache.put(s1, cached1);
   }
   String[] cached2 = cache.get(s2);
   if (cached2  == null) {
      cached2 = mySuperSplitter(s2):
      cache.put(s2, cached2);
   }

   return compareAsArrays(cached1, cached2);  // real comparison done here
}

이 벤치 마크 에 따르면 StringTokenizer는 문자열을 분할하는 것이 빠르지 만 배열을 반환하지 않아 편리하지 않습니다.

수백만 행을 정렬 해야하는 경우 RDBMS를 사용하는 것이 좋습니다.

이것은 큰 (1GB +) 탭으로 구분 된 파일을 구문 분석하는 데 사용하는 방법입니다. 보다 오버 헤드가 적지 String.split()만 char분리 문자로 제한됩니다 . 누구든지 더 빠른 방법을 가지고 있다면 그것을보고 싶습니다. 이것은 또한 이상 할 수 CharSequence와 CharSequence.subSequence,하지만 구현이 필요합니다 CharSequence.indexOf(char)(패키지 방법을 참조 String.indexOf(char[] source, int sourceOffset, int sourceCount, char[] target, int targetOffset, int targetCount, int fromIndex)관심이있는 경우).

public static String[] split(final String line, final char delimiter)
{
    CharSequence[] temp = new CharSequence[(line.length() / 2) + 1];
    int wordCount = 0;
    int i = 0;
    int j = line.indexOf(delimiter, 0); // first substring

    while (j >= 0)
    {
        temp[wordCount++] = line.substring(i, j);
        i = j + 1;
        j = line.indexOf(delimiter, i); // rest of substrings
    }

    temp[wordCount++] = line.substring(i); // last substring

    String[] result = new String[wordCount];
    System.arraycopy(temp, 0, result, 0, wordCount);

    return result;
}