전체 디렉토리 트리에 대한 줄 끝 변환 (Git)


162

다음 상황 :

나는 OS X를 실행하는 Mac에서 일하고 있으며 최근에 회원들이 모두 Windows를 사용하는 프로젝트에 참여했습니다. 첫 번째 작업 중 하나는 Git 저장소에 코드베이스를 설정하는 것이 었습니다. 그래서 FTP에서 디렉토리 트리를 가져와 로컬에서 준비한 Git 저장소로 확인하려고했습니다. 이 작업을 시도 할 때 내가 가진 모든 것은

fatal: CRLF would be replaced by LF in blog/license.txt.

이것은 "blog"폴더 아래의 모든 파일에 영향을 미치므로 트리의 모든 파일을 Unix 줄 끝으로 편리하게 변환하는 방법을 찾고 있습니다. 즉시 사용할 수있는 도구가 있습니까, 아니면 직접 스크립트를 작성해야합니까?

참고로 줄 끝과 관련된 내 Git 구성 :

core.safecrlf=true
core.autocrlf=input

답변:


268

dos2unix 가 당신을 위해 그렇게합니다. 공정하게 진행됩니다.
dos2unix filename

toolbear 덕분에 줄 끝을 재귀 적으로 대체하고 공백, 따옴표 및 셸 메타 문자를 올바르게 처리하는 단일 라이너가 있습니다.

find . -type f -exec dos2unix {} \;

dos2unix 6.0 바이너리 파일을 사용하는 경우 무시됩니다.


8
find blog -type f | xargs dos2unix더 빨라야합니다. -name *.*이름에 마침표가있는 파일 만 원하는 경우가 아니면 둘 중 하나 가 필요하지 않습니다 . 그것은 nix가 아닌 창구입니다.
쓸모없는

15
배관 findxargs경우 실패하게됩니다 find자신의 경로에 공백, 시세, 또는 다른 쉘 메타 문자와 일치하는 모든 파일을. find blog -type f -print0 | xargs -0 dos2unix공백의 경우를 처리하기 위해 최소한 사용 하십시오. 당신은 사용해야 find이야 ' -exec대신 따옴표를 방지하기 위해 배관 등 있습니다 .. dos2unix매뉴얼 페이지 바이너리 파일에 호출하면 경우의 행동이 무엇인지 지정하지 않습니다. 이진 파일에서 CRLF를 변환하면 파일이 손상됩니다. 더 긴 대안이지만 더 안전하려면 내 대답을 참조하십시오.
toolbear

1
@lukmdo는 centos 6.4 .....에 설치된 버전이 아닙니다. 그것들을 클로버합니다 .... 대신 여기에서 d / l해야했습니다 rpmrpd.net/linux/rpm2html/search.php?query=dos2unix
Kerridge0

부록 : dos2unix CLI는 Homebrew (npm 아님)를 통해 가장 쉽게 설치할 수 있습니다.
2540625

2
가능하다면이 방법을 사용하여 디렉토리를 어떻게 무시합니까?
datatype_void

50

GNU가 grep있고 perl현재 디렉토리 아래의 이진이 아닌 파일에서 CRLF를 LF로 재귀 적으로 변환 한다고 가정합니다 .

find . -type f -exec grep -qIP '\r\n' {} ';' -exec perl -pi -e 's/\r\n/\n/g' {} '+'

작동 원리

현재 디렉토리에서 재귀 적으로 찾기; 교체를 제한 .하기 위해 blog또는 whatev하위 디렉토리로 변경 :

find .

일반 파일 만 일치

  -type f

파일에 CRLF가 포함되어 있는지 테스트하십시오. 이진 파일을 제외하십시오. grep모든 일반 파일에 대해 명령을 실행 합니다. 바이너리를 제외하는 가격입니다. 오래된 grep것이 있다면 다음 file명령을 사용하여 테스트를 빌드하십시오 .

  -exec grep -qIP '\r\n' {} ';'

CRLF를 LF로 교체하십시오. '+'두 번째로는 -execfind축적 일치하는 파일 및 명령의 하나 (또는 가능한 몇 가지로) 호출에 전달 -에 배관처럼 xargs,하지만 문제없이 파일 경로에 공백이 인용 부호 또는 다른 쉘 메타 문자가 포함 된 경우. i에서이 -pi위치에 파일을 수정하기 위해 펄을 알려줍니다. 약간의 작업으로 sed또는 awk여기를 사용할 수 있으며 아마도 '+'를 ';'로 변경할 것입니다. 각 경기마다 별도의 프로세스를 호출하십시오.

  -exec perl -pi -e 's/\r\n/\n/g' {} '+'

6
누군가를 돕는 경우 : grep -qIP '\r\n'CentOS 시스템의 어떤 것도 일치하지 않습니다. grep -qIP '\r$'작동 하도록 변경 했습니다.
Steve Onorato

의견을 말하고 싶지만 node_modules? 와 같은 폴더를 제외하는 방법이 있습니까?
datatype_void

1
@datatype_void는 stackoverflow.com/questions/4210042/… 에서 find디렉토리를 제외하도록 명령 부분 을 수정하는 방법을 살펴보십시오 . 을 사용하는 것이 -path좋지만 -regex또는 을 사용할 수도 있습니다 -iregex. 즉, 어느 깊이에서든 -not -regex '.*/node_modules/.*'제외 할 수 있습니다 node_modules.
toolbear

죄송하지만 지금은로 떨어질 경우 regex또는 bash멍청한 놈,하지만 여러 제외에 대해, 무슨 말을 node_module하고 dist, 예를 들면?
datatype_void

-P플래그 에는 GNU grep이 필요합니다 . OS X은 GNU grep에서 BSD grep으로 전환되었습니다. OS X의 대안 : stackoverflow.com/questions/16658333/…
toolbear

29

더 좋은 옵션은 Swiss File Knife 입니다. 하위 디렉토리에서 재귀 적으로 작동하며 공간과 특수 문자를 올바르게 처리합니다.

당신이해야 할 일은 :

sfk remcr -dir your_project_directory

보너스 : sfk 는 다른 많은 변환도 수행합니다. 전체 목록은 아래를 참조하십시오.

SFK - The Swiss File Knife File Tree Processor.
Release 1.6.7 Base Revision 2 of May  3 2013.
StahlWorks Technologies, http://stahlworks.com/
Distributed for free under the BSD License, without any warranty.

type "sfk commandname" for help on any of the following.
some commands require to add "-help" for the help text.

   file system
      sfk list       - list directory tree contents.
                       list latest, oldest or biggest files.
                       list directory differences.
                       list zip jar tar gz bz2 contents.
      sfk filefind   - find files by filename
      sfk treesize   - show directory size statistics
      sfk copy       - copy directory trees additively
      sfk sync       - mirror tree content with deletion
      sfk partcopy   - copy part from a file into another one
      sfk mkdir      - create directory tree
      sfk delete     - delete files and folders
      sfk deltree    - delete whole directory tree
      sfk deblank    - remove blanks in filenames
      sfk space [-h] - tell total and free size of volume
      sfk filetime   - tell times of a file
      sfk touch      - change times of a file

   conversion
      sfk lf-to-crlf - convert from LF to CRLF line endings
      sfk crlf-to-lf - convert from CRLF to LF line endings
      sfk detab      - convert TAB characters to spaces
      sfk entab      - convert groups of spaces to TAB chars
      sfk scantab    - list files containing TAB characters
      sfk split      - split large files into smaller ones
      sfk join       - join small files into a large one
      sfk hexdump    - create hexdump from a binary file
      sfk hextobin   - convert hex data to binary
      sfk hex        - convert decimal number(s) to hex
      sfk dec        - convert hex number(s) to decimal
      sfk chars      - print chars for a list of codes
      sfk bin-to-src - convert binary to source code

   text processing
      sfk filter     - search, filter and replace text data
      sfk addhead    - insert string at start of text lines
      sfk addtail    - append string at end of text lines
      sfk patch      - change text files through a script
      sfk snapto     - join many text files into one file
      sfk joinlines  - join text lines split by email reformatting
      sfk inst       - instrument c++ sourcecode with tracing calls
      sfk replace    - replace words in binary and text files
      sfk hexfind    - find words in binary files, showing hexdump
      sfk run        - run command on all files of a folder
      sfk runloop    - run a command n times in a loop
      sfk printloop  - print some text many times
      sfk strings    - extract strings from a binary file
      sfk sort       - sort text lines produced by another command
      sfk count      - count text lines, filter identical lines
      sfk head       - print first lines of a file
      sfk tail       - print last lines of a file
      sfk linelen    - tell length of string(s)

   search and compare
      sfk find       - find words in binary files, showing text
      sfk md5gento   - create list of md5 checksums over files
      sfk md5check   - verify list of md5 checksums over files
      sfk md5        - calc md5 over a file, compare two files
      sfk pathfind   - search PATH for location of a command
      sfk reflist    - list fuzzy references between files
      sfk deplist    - list fuzzy dependencies between files
      sfk dupfind    - find duplicate files by content

   networking
      sfk httpserv   - run an instant HTTP server.
                       type "sfk httpserv -help" for help.
      sfk ftpserv    - run an instant FTP server
                       type "sfk ftpserv -help" for help.
      sfk ftp        - instant anonymous FTP client
      sfk wget       - download HTTP file from the web
      sfk webrequest - send HTTP request to a server
      sfk tcpdump    - print TCP conversation between programs
      sfk udpdump    - print incoming UDP requests
      sfk udpsend    - send UDP requests
      sfk ip         - tell own machine's IP address(es).
                       type "sfk ip -help" for help.
      sfk netlog     - send text outputs to network,
                       and/or file, and/or terminal

   scripting
      sfk script     - run many sfk commands in a script file
      sfk echo       - print (coloured) text to terminal
      sfk color      - change text color of terminal
      sfk alias      - create command from other commands
      sfk mkcd       - create command to reenter directory
      sfk sleep      - delay execution for milliseconds
      sfk pause      - wait for user input
      sfk label      - define starting point for a script
      sfk tee        - split command output in two streams
      sfk tofile     - save command output to a file
      sfk toterm     - flush command output to terminal
      sfk loop       - repeat execution of a command chain
      sfk cd         - change directory within a script
      sfk getcwd     - print the current working directory
      sfk require    - compare version text

   development
      sfk bin-to-src - convert binary data to source code
      sfk make-random-file - create file with random data
      sfk fuzz       - change file at random, for testing
      sfk sample     - print example code for programming
      sfk inst       - instrument c++ with tracing calls

   diverse
      sfk media      - cut video and binary files
      sfk view       - show results in a GUI tool
      sfk toclip     - copy command output to clipboard
      sfk fromclip   - read text from clipboard
      sfk list       - show directory tree contents
      sfk env        - search environment variables
      sfk version    - show version of a binary file
      sfk ascii      - list ISO 8859-1 ASCII characters
      sfk ascii -dos - list OEM codepage 850 characters
      sfk license    - print the SFK license text

   help by subject
      sfk help select   - how dirs and files are selected in sfk
      sfk help options  - general options reference
      sfk help patterns - wildcards and text patterns within sfk
      sfk help chain    - how to combine (chain) multiple commands
      sfk help shell    - how to optimize the windows command prompt
      sfk help unicode  - about unicode file reading support
      sfk help colors   - how to change result colors
      sfk help xe       - for infos on sfk extended edition.

   All tree walking commands support file selection this way:

   1. short format with ONE directory tree and MANY file name patterns:
      src1dir .cpp .hpp .xml bigbar !footmp
   2. short format with a list of explicite file names:
      letter1.txt revenues9.xls report3\turnover5.ppt
   3. long format with MANY dir trees and file masks PER dir tree:
      -dir src1 src2 !src\save -file foosys .cpp -dir bin5 -file .exe

   For detailed help on file selection, type "sfk help select".

   * and ? wildcards are supported within filenames. "foo" is interpreted
   as "*foo*", so you can leave out * completely to search a part of a name.
   For name start comparison, say "\foo" (finds foo.txt but not anyfoo.txt).

   When you supply a directory name, by default this means "take all files".

      sfk list mydir                lists ALL  files of mydir, no * needed.
      sfk list mydir .cpp .hpp      lists SOME files of mydir, by extension.
      sfk list mydir !.cfg          lists all  files of mydir  EXCEPT .cfg

   general options:
      -tracesel tells in detail which files and/or directories are included
                or excluded, and why (due to which user-supplied mask).
      -nosub    do not process files within subdirectories.
      -nocol    before any command switches off color output.
      -quiet    or -nohead shows less output on some commands.
      -hidden   includes hidden and system files and dirs.
      For detailed help on all options, type "sfk help options".

   beware of Shell Command Characters.
      command parameters containing characters < > | ! & must be sur-
      rounded by quotes "". type "sfk filter" for details and examples.

   type "sfk ask word1 word2 ..."   to search ALL help text for words.
   type "sfk dumphelp"              to print  ALL help text.

편집 :주의 사항 : 바이너리 파일이있는 폴더에서 파일을 실행할 때 파일, 특히 .git 디렉토리를 효과적으로 파괴하므로주의하십시오 . 이 경우 전체 폴더에서 sfk를 실행 하지 말고 대신 특정 파일 확장자 (* .rb, * .py 등)를 선택하십시오. 예:sfk remcr -dir chef -file .rb -file .json -file .erb -file .md


OSX Mavericks에서 잘 작동합니다. 아무것도 설치할 필요가 없습니다. 마운트 된 dmg에서 스크립트를 실행하면 터미널을 사용할 준비가됩니다.
Nate Cook

@Gui Ambros .git 폴더 안에있는 파일들에 대해 걱정할 필요가 없습니다. sfk는 기본적으로 숨겨진 폴더 내의 파일을 업데이트하지 않습니다.
bittusarkar

1
@ bittusarkar : 대답시 sfk내 전체 .git 폴더를 효과적으로 처리하고 많은 바이너리를 파괴했습니다 (따라서 편집 은 Linux 또는 Mac인지 기억하지 않습니다). 최신 버전에서는 기본 동작이 변경되었을 수 있지만, 안전을 위해 확장명을 지정하는 것이 좋습니다.
Gui Ambros

1
이것은 단순히 모든 관련 파일을 수정하지 않은 권장 git 명령을 사용하여 내 repos를 정규화하려고 너무 많은 시간을 보낸 후 나에게 잘 작동했습니다.
angularsen

1
감사! 방금 파일을 빠르고 쉽게 변환하는 데 사용했습니다. 이제 Git의 스테이징 영역에 파일을 추가 할 수 있습니다. OSX 10.9.5에서 파일이 작성된 위치를 모릅니다.
ryanwc

16
find . -not \( -name .svn -prune -o -name .git -prune \) -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

git repo가 ​​손상되지 않도록 훨씬 안전합니다. .git, .svn을 .bzr, .hg 또는 사용 하지 않는 소스를 제어하는 ​​소스로 추가하거나 교체 하십시오.


3
이것이 dos2unix와 같은 것을 설치할 필요가없는 경우에 가장 좋은 대답입니다. 파일 유형을 제외하고 소스 코드 파일 손상을 방지합니다.
Raghavan

10

OS X에서 이것은 나를 위해 일했습니다.

find ./ -type f -exec perl -pi -e 's/\r\n|\n|\r/\n/g' {} \;

경고 :이 명령을 실행하기 전에 디렉토리를 백업하십시오.


5
이로 인해 내 자식 저장소가 손상되었습니다. 실행하기 전에 .git 폴더를 이동하고 나중에 더 나은 성공으로 다시 이동하여 다시 시도했습니다.
garie

1
또한 이것은 바이너리 파일을 배제하지 않으므로 jpg를 손상시킬 수 있습니다.
Niek

0

sed를 사용하는 경우 해결책은 다음과 같습니다.

find . -type f -exec sed -i 's/\r$//' {} \;

-i 백업을 만들고 싶다면 -i.bak

's/\r$//'\r각 줄 끝에서 모든 캐리지 리턴 ( )을 대체합니다.

당사 사이트를 사용함과 동시에 당사의 쿠키 정책개인정보 보호정책을 읽고 이해하였음을 인정하는 것으로 간주합니다.
Licensed under cc by-sa 3.0 with attribution required.