«text-processing» 태그된 질문

알 수 없거나 혼합 된 인코딩의 텍스트 파일이 있습니다. UTF-8이 아닌 바이트 시퀀스를 포함하는 줄을보고 싶습니다 (텍스트 파일을 일부 프로그램으로 파이핑하여). 마찬가지로, 유효한 UTF-8 행을 필터링하고 싶습니다. 즉, 찾고 있습니다 .grep [notutf8] 이상적인 솔루션은 이식 가능하고 짧고 다른 인코딩에 일반화 할 수 있지만 UTF-8 정의 에서 굽는 것이 가장 좋은 …

50 command-line  text-processing  character-encoding  unicode 

일부 텍스트 파일이 Linux 모드로 유지 되도록하는 명령을 정기적으로 실행해야 합니다. 불행히도 dos2unix항상 파일을 수정하면 파일과 폴더의 타임 스탬프가 엉망이되어 불필요한 쓰기가 발생합니다. 내가 작성한 스크립트는 Bash에 있으므로 Bash를 기반으로 한 답변을 선호합니다.

48 bash  text-processing  newlines 

입력 파일 1은 다음과 같습니다. dog 123 4335 cat 13123 23424 deer 2131 213132 bear 2313 21313 나는 other file( dog 123 4335file2에서와 같이)에서 패턴을 일치시킵니다 . 나는 라인의 패턴과 일치하고 매치 dog 123 4335라인없이 모든 라인을 인쇄 한 후 내 출력은 다음과 같습니다. cat 13123 23424 deer 2131 213132 …

48 text-processing  sed  grep 

CSV 파일로 작업하며 명령 줄에서 행 또는 열의 내용을 빠르게 확인해야하는 경우가 있습니다. 많은 경우 cut에 head,, tail친구가 일을합니다. 그러나 컷은 다음과 같은 상황을 쉽게 처리 할 수 ​​없습니다. "this, is the first entry", this is the second, 34.5 여기서 첫 번째 쉼표는 첫 번째 필드의 일부이지만 cut -d, -f1동의하지 …

47 command-line  software-rec  text-processing  csv 

경고 / 오류없이 Gedit.htm 에서 여는 여러 파일이 있지만에서 동일한 파일을 열면 잘못된 UTF-8 인코딩에 대해 경고합니다 ...Jedit HTML 메타 태그에는 "charset = ISO-8859-1"이 표시됩니다. JEDIT은 허용 대체 인코딩 목록 과 자동 감지기 인코딩 목록 내 즉각적인 문제가 해결 될 수 있도록, (현재는 "BOM의 XML-PI를"). 그러나 이것은 나를 생각하게했습니다 : …

46 text-processing  utilities  character-encoding 

.txt파일 을로 변환하고 싶습니다 .pdf. 나는 이것을 사용하고있다 : ls | while read ONELINE; do convert -density 400 "$ONELINE" "$(echo "$ONELINE" | sed 's/.txt/.pdf/g')"; done 그러나 이로 인해 하나의 "오류"가 발생합니다. 텍스트 파일에 매우 긴 줄이 있으면 줄 바꿈되지 않습니다. 입력 텍스트 PDF 출력 - 또한 출력 PDF에 텍스트 이미지 …

45 text-processing  pdf  imagemagick  conversion 

sed 특정 위치의 줄을 빠르게 삭제 하는 데 사용 합니다. sed '1d' sed '5d' 그러나 파일의 마지막 줄을 삭제하고 줄 수를 모르는 경우 어떻게해야합니까 (나는 wc몇 가지 다른 트릭 을 사용하여 얻을 수 있음을 알고 있습니다 ). 현재와 해결 방법을 사용 head하고 tail결합으로 wc그렇게 할 수 있습니다. 여기에 빠른 비틀기?

44 text-processing  sed 

파일에서 환경 변수를 대체 / 평가하는 쉬운 방법이 있습니까? 다음과 같은 파일 config.xml이 있다고 가정 해 보겠습니다 . <property> <name>instanceId</name> <value>$INSTANCE_ID</value> </property> <property> <name>rootPath</name> <value>/services/$SERVICE_NAME</value> </property> ...기타. $INSTANCE_ID파일에서 INSTANCE_ID환경 변수 $SERVICE_NAME값과 SERVICE_NAMEenv var 값 으로 바꾸고 싶습니다 . 어떤 환경 변수가 필요한지 미리 알지 못합니다 (또는 누군가가 환경 파일에 새 …

41 shell-script  text-processing  scripting  environment-variables 

$ cat data.txt aaaaaa aaaaaa cccccc aaaaaa aaaaaa bbbbbb $ cat data.txt | uniq aaaaaa cccccc aaaaaa bbbbbb $ cat data.txt | sort | uniq aaaaaa bbbbbb cccccc $ 필자가 필요한 결과 는 원본 파일의 모든 줄 을 표시하여 파일의 원래 순서를 유지하면서 모든 중복 항목 (연속 행뿐만 아니라)을 제거하는 …

40 text-processing  uniq 

쉘에서 내가 가지고있는 이진 파일의 바이트를 읽고 16 진수로 출력을 인쇄하는 방법은 무엇입니까?

39 shell  text-processing  binary 

때로는 입력 탭으로 구분 된 목록으로 표시됩니다. var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3 그것들을 정렬하는 쉬운 방법이 있습니까? var1 var2 var3 var_with_long_name_which_ruins_alignment var2 var3

39 command-line  text-processing  csv  tabulation 

마지막 개행을 제외한 모든 개행을 공백으로 바꾸려면 어떻게해야합니까? 모든 줄 바꿈을 사용하여 공백으로 바꿀 수 tr있지만 일부 예외로 어떻게 할 수 있습니까?

38 bash  shell-script  text-processing  tr 

약 30.000.000 줄 (Radius Accounting)이있는 파일이 있으며 주어진 패턴의 마지막 일치 항목을 찾아야합니다. 명령 : tac accounting.log | grep $pattern 내가 필요한 것을 제공하지만 OS가 먼저 전체 파일을 읽은 다음 파이프로 보내야하기 때문에 너무 느립니다. 따라서 마지막 줄에서 첫 번째 줄까지 파일을 읽을 수있는 빠른 것이 필요합니다.

38 text-processing  files  grep  tail 

명령 줄을 사용하여 쉘 / 구성 / 루비 스크립트를 주석 처리하거나 주석 처리를 제거하는 방법이 있습니까? 예를 들면 다음과 같습니다. $ comment 14-18 bla.conf $ uncomment 14-18 bla.conf 이렇게하면 에 온라인 #사인온 이 추가되거나 제거 됩니다 . 일반적으로을 사용 하지만 해당 줄의 내용을 알고 교체 찾기 작업을 수행해야하며 바늘이 두 …

37 shell-script  text-processing 

파일 (UTF-8)에서 일부 문자를 제거하려고합니다. tr이 목적으로 사용 하고 있습니다 : tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat 파일에는 "Латвийская"또는 "àé"와 같은 일부 외국 문자가 포함되어 있습니다. tr그것들을 이해하지 못하는 것 같습니다 : 알파가 아닌 것으로 취급하고 제거합니다. 로케일 설정 중 일부를 변경하려고했습니다. LC_CTYPE=C LC_COLLATE=C tr -cs '[[:alpha:][:space:]]' ' ' <testdata.dat …

36 linux  text-processing  unicode  tr