정규표현
한동훈
ddoch@hitel.kol.co.kr
고친 과정 | ||
---|---|---|
고침 0.9 | 2004년 3월 4일 23시 | |
1차 Docbook 변환 작업 종료 | ||
고침 0.8 | 2004년 2월 29일 20시 | |
Docbook로 옮기기 시작 |
- 차례
- 1. 정규표현식 문법
- 1. 정규표현식 문법
-
- 2. 공통적인 오퍼레이터
-
- 2.1. 자신을 매칭시키는 오퍼레이터
- 2.2. 아무거나 한문자 오퍼레이터 (.)
- 2.3. 연결 오퍼레이터
- 2.4. 반복 오퍼레이터
- 2.2. 아무거나 한문자 오퍼레이터 (.)
-
- 2.4.1. 0개 이상 매칭 오퍼레이터 (*)
- 2.4.2. 하나이상 오퍼레이터 (+)
- 2.4.3. 0개나 한개 오퍼레이터 (?)
- 2.4.4. 간격 오퍼레이터 ({...})
- 2.4.2. 하나이상 오퍼레이터 (+)
- 2.4.1. 0개 이상 매칭 오퍼레이터 (*)
- 2.5. 대체 오퍼레이터 (|)
- 2.6. 리스트 오퍼레이터([...])
- 2.6. 리스트 오퍼레이터([...])
-
- 2.6.1. 문자 클래스 오퍼레이터 ([:...:])
- 2.6.2. 범위 오퍼레이트 (-)
- 2.6.1. 문자 클래스 오퍼레이터 ([:...:])
- 2.7. 그룹화 오퍼레이터 ((...) or (...))
- 2.8. 거꾸로참조 오퍼레이터 (숫자)
- 2.9. 닻(anchoring) 오퍼레이터(^,$)
- 2.8. 거꾸로참조 오퍼레이터 (숫자)
-
- 2.9.1. 라인시작 오퍼레이터(^)
- 2.9.2. 라인의 끝 오퍼레이터 ($)
- 2.9.1. 라인시작 오퍼레이터(^)
- 2.1. 자신을 매칭시키는 오퍼레이터
- 3. GNU 오퍼레이터
-
- 3.1. 워드 오퍼레이터
-
- 3.1.1. 이맥스가 아닌 문법 테이블
- 3.1.2. Match-word-boundary 오퍼레이터(b)
- 3.1.3. Match-within-word Operator (B)
- 3.1.4. Match-beginning-of-word Operator (<)
- 3.1.5. Match-end-of-word Operator (>)
- 3.1.6. Match-word-constituent Operator (w)
- 3.1.7. Match-non-word-constituent Operator (W)
- 3.1.2. Match-word-boundary 오퍼레이터(b)
- 3.1.1. 이맥스가 아닌 문법 테이블
- 3.2. 버퍼 오퍼레이터
-
- 3.1. 워드 오퍼레이터
- 4. GNU 이맥스 오퍼레이터
-
- 5. Regex 프로그래밍
-
- 5.1. BSD Regex 함수
- 5.2. POSIX Regex 함수
- 5.2. POSIX Regex 함수
-
- 5.2.1. POSIX 패턴 버퍼
- 5.2.2. POSIX 정규표현식 컴파일
- 5.2.3. POSIX 매칭
- 5.2.4. 에러 메시지 출력하기
- 5.2.5. 바이트 옵셋 사용하기
- 5.2.6. POSIX 패턴 버퍼를 Free 하기
- 5.2.7. POSIX Regex로 egrep 만들기
- 5.2.2. POSIX 정규표현식 컴파일
- 5.2.1. POSIX 패턴 버퍼
- 5.3. GNU Regex 함수
-
- 5.3.1. GNU 패턴 버퍼
- 5.3.2. GNU 정규표현식 컴파일
- 5.3.3. GNU 매칭
- 5.3.4. GNU 검색
- 5.3.5. 분리된 데이터로 매칭과 검색하기
- 5.3.6. fastmap으로 검색하기
- 5.3.7. GNU 변환 테이블
- 5.3.8. 레지스터 사용하기
- 5.3.9. GNU 패턴버퍼를 free 하기
- 5.3.2. GNU 정규표현식 컴파일
- 5.3.1. GNU 패턴 버퍼
- 5.1. BSD Regex 함수
- 6. 나오는 말
안녕하세요. ddoch 한동훈 입니다. flex 와 bison 을 공부하던 중 regex에 대한 정리가 필요하다고 생각하여 regex 메뉴얼 (자료실/문서/2027번 문서/regex.zip)로 공부를 하던 중 그냥번역하는 것 보다는 실제 예를 들어가면서 설명하는 것이 좋을 것 같아 이렇게 강좌로 올 립니다.
이 강좌 내용은 위 메뉴얼을 중심으로 설명을 드릴 예정이며 순서 또한 6. Regex 프로그래밍 중 난이도에 따라 비교적 쉬운 "BSD Regex 함수" 부터 설명을 하였다는 점을 제외하고는 같습니다. 그리고 중간중간 이해를 돕기위해 예제로 설명을 하겠으며 설명내용 중 잘못된 것이나 참고사항은 위의 주소로 보내주시면 감사하겠습니다. 그리고 설명 중 모자라는 부분이나 빠진 부분이 있을 수도 있으므로, 위에서 말씀드린 메뉴얼을 참고하시기 바라겠습니다.
그리고 6장을 제외한 나머지 내용은 일반 리눅스 및 유닉스 사용자들이 참조할 수 있는 공통적인 내용이며 6장은 프로그래머를 위한 내용입니다.
regex는 정규표현식을 이용하여 패턴 검색 및 매칭 작업을 수행하는 함수를 제공 하는 일종의 라이브러리입니다. Linux 나 UNIX에서 이 라이브러리는 아주 광범위 하게 사용되어 사용자 수준에서의 정규표현식을 사용하여 강력한 작업을 할 수 있도록 도와주는 역할을 합니다. 아마도 리눅스나 유닉스를 사용하시면서 쉘상에서,
이런 명령을 사용해보신 분들이 많이 계실 겁니다. 표준 쉘만이 아니라, ed, ex, sed, awk, vi, emacs, grep, egrep등의 유닉스 표준 유틸리티들과 postgres, bison, flex등의 툴 들에서도 내부적으로 사용을 하며, 프로그램을 직접 설치해보신 분은 소스디렉토리안에 "regex.h, regex.c"라는 파일 이 들어 있는 경우를 종종 보셨을 겁니다.
queen:~$ xanim [a-g]*.gif
이런 정규표현식은 bison, flex에서도 사용된다고 하였는 데, 이것은 각종 문자열 파싱이나 문장, 구문해석에 사용되어 컴파일러 제작, 어문해석기 등의 프로그램을 만드는 데 사용됩니다. 아직 정규표현식에서 "[가-나]"와 같은 한글을 처리하지 못하고 있는 데, 이런 문제는 한글어휘분석기 및 한글토큰분석에 난제로 등장하고 있 는 관계로 이의 해결은 우리들의 몫이 아닐까 생각합니다.
설치는, 리동 자료실에 있는 regex 0.12 버젼 (자료실/2370번/regex012.tgz)을 받으셔서 root로 압축을 푸시고 "./configure; make; make install"로 설치를 하시면 됩니다. 네트웍에서 구하실려면 GNU 공식 사이트나 한국에서 미러를 하고 있는 카이스트에서 "regex" 로 검색하시면 찾을 수 있습니다.
말이 설치지, 설치되는 것은 info 파일과 texi 파일을 컴파일하여 해당디렉토리로 이동시키는 것일 뿐입니다. 압축을 푼 디렉토리에 보시면 regex.c 와 regex.h가 있는 데, 이 두개가 전부이므로 휴대를 하시면서 사용하시던지, 아니면 regex.o 파일로 링크만 시키시던지는 마음대로 하시면 될 것입니다. 참고로 슬랙 3.1에 "/usr/include"에도 "regex.h"가 있으나 본 헤더파일과는 다르므로 인클루드 하실 때 주의하시기 바랍니다. 테스트 파일은 "test/" 디렉토리에 있으므로 살펴보시면 도움이 될 것이며, 테스트 소스 컴파일은 "test/" 디렉토리에서 "make all" 로 하시면 됩니다.
"regex.h" 파일에 아주 자세한 설명이 들어 있으므로 자주 참고를 하시기 바라며, 한부 뽑아서 보셔도 좋습니다. 정규표현식을 이용하여 프로그램을 짜시려는 분들이나 정규표현식을 익히시려는 분들에게 조금이나마 도움이 되었으면 좋겠습니다. 정규표현식을 이용한 프로그램인 egrep을 이용하여 소스내에서 특정 토큰(예: int)을 찾는 경우를 예를 들어보겠습니다.
이런식으로 찾으면 "printf" 도 같이 검색이 되므로 요구를 채워주지 못합니다.
queen:~$ egrep int something.c
queen:~$ egrep "[^[:alnum:]_]int[^[:alnum:]_]" something.c
이제, 하나의 독립된 토큰으로서의 "int"만 찾아서 우리에게 보여줍니다. 만일, egrep 같은 프로그램을 짤 때, 첫번째 인자(정규표현식)를 일일이 C로 파싱 하여 처리하는 것은 거의 사람의 인내성의 한계를 실험하는 것이 될 것입니다. 이럴 때 미리 짜놓은 regex 함수를 이용하여 해당 펑션에서 첫번째 인자와 해당파일을 읽은 문자열을 넘겨주면 알아서 검색 및 패턴 매칭을 해주므로 아주 간편하게 프로그래밍 할 수 있는 것입니다.
정규표현식에도 상당히 많은 형태의 문법이 있다는 것은 천천히 보여드리도록 하 겠습니다. 그리고 강좌 마지막에 가능하다면, 정규표현식을 이용하는 간단한 기능의 egrep 버젼을 만들어 보도록 하겠습니다.
자, 그럼 이제 설명에 들어가볼까요..
1. 정규표현식 문법
정규표현식은 어떤 문자열의 집합을 묘사하는 텍스트 스트링입니다. 오퍼레이터는 '['나 '*'같은 한개 이상의 문자와 매칭되는 정규표현식안에 있는 문자입니다. 일반적으로 대부분의 문자는 'a'나 'z'와 같이 그 자체로서의 문자그래로의 뜻을 가집니다. 이것을 여기서는 "그냥문자(ordinary) 또는 일반문자"라고 하겠습니다. 이와는 반대로 '.'와 같이 특수한 뜻을 나타내는 문자를 "특수문자(special)" 라고 부르겠습니다. 어떤 문자가 특수문자인지 또는 그냥문자인지는 다양한 정규표현식의 문법과 해당 정규표현식에서의 문맥에 따라 달라집니다. 이제, 아래에서 자세하게 이야기 하겠습니다.
1.1. 문법 비트
정규표현식에서 어떤 특정한 문법은 몇몇의 문자들을 항상 특수문자로 취급하고, 다른 문법은 가끔 특수문자로 취급하며, 또다른 문법은 그러한 문자들을 일반문자로 취급할 경우가 있습니다. 주어진 정규표현식에서 Regex가 인식하는 특정한 문법은 해당 정규표현식의 패턴버퍼의 syntax 필드에 따라 다릅니다. 이 말은 위의 예에서 정규표현식 중에서 "[:alpha:]"같은 것들이 이 패턴을 다루는 버퍼중에서 syntax 필드에 따라 틀린 문법으로 치부될 수도 있고, 그냥 무시하고 넘어갈 수도 있으며, 올바르게 작동할 수도 있다는 이야기입니다. 따라서 syntax 필드를 조정해줌으로써 정규표현식의 기능을 다양하게 제한하고 확장할 수 있다는 이야기가 되겠네요. 패턴 버퍼는 "[a-g]*"와 같은 정규표현식을 뒤에서 설명하는 정규표현식 "컴파일" 함수에 인자로 넘겨줌으로 만들수 있습니다. (참고로, 여기서 "컴파일"이라함은, 텍스트 스트링 형태의 정규표현식을 검색,매칭 할수 있는 형태로 만들기 위해 어떤 버펴(패턴 버퍼)에 번역을 하거나 이에 필요한 각종 값을 담아두는 역할을 하는 것을 이야기합니다. ) syntax 필드는 다양한 비트들의 조합으로 구성되며, 이러한 비트들을 보통, "문법 비트"라고 부릅니다. 이러한 문법 비트는 "어떤 문자가 어떤 오퍼레이터가 될것인가"하는 문제를 결정하게 됩니다. 이제, 문법 비트의 모든 것을 알파벳 순서로 설명을 드리겠습니다. 참고적으로, 이것은 "regex.h"에 자세히 설명되어 있는 것으로 "RE_"로 정의되어 있습니다. 언뜻 정의된 이름만으로도 그 기능을 충분히 예견할 수 있을 것입니다.
- RE_BACKSLASH_ESCAPE_IN_LISTS (리스트에서 백슬래쉬는 이스케이프)
-
일반적인 리스트 오퍼레이터인 '[', ']'안에서 ''(이스케이프)문자는 뒷글자를 이스케이프하는 탈출문자가 된다는 이야지이지요. 만일 이 비트가 세팅되지 않으면 리스트 오퍼레이터안에서의 ''는 그냥문자(=일반문자)가 됩니다. 보통, 리스트 오퍼레이터 안의 문자는 특수문자 성격을 상실하고 그냥문자가 되는 게 일반적입니다.
- RE_BK_PLUS_QM ('+', '?')
-
이 비트가 설정되면 '+'는 "하나이상을 매칭시키는 오퍼레이터(이후 하나이상 오퍼레이터)(match-one-or-more operator)"가 되며, '?'는 "0개 이상을 매칭시키는 오퍼레이터 (이후 뻥개이상 (^^;) 오퍼레이터)"(match-zero-or-more operator)이 됩니다. 이 비트가 설정되지 않으면, 각각 '+'와 '?'가 그 역할을 대신합니다. 일반적으로는 보통, '+', '?'가 각각 하나이상, 0개 이상을 매칭시키는 오퍼레이터로 작동을 합니다. 만일 RE_LIMITED_OPS 가 세팅되었다면 이 비트는 세팅하지 마셔야 합니다.
- RE_CHAR_CLASSES (문자 클래스)
-
이 비트가 세팅되어 있으면 리스트안에서 문자클래스 오퍼레이터를 사용할 수 있으며 그렇지 않으면 사용할 수 없습니다. 위에서 예를 든, egrep 의 경우에는 리스트안([..])에서 문자 클래스 ([:alnum:])을 사용할 수 있었으므로 이 비트가 세팅되어 있다는 것을 미루어 짐작할 수 있습니다.
- RE_CONTEXT_INDEP_ANCHORS
-
이 비트가 세팅되어 있다면, '^'와 '$'는 리스트 밖에서의 어디에서나 특수문자로 취급하며, 그렇지 않다면 확실한 문맥에서만 특수문자로 취급합니다.
- RE_CONTEXT_INDEP_OPS
-
이 비트가 세팅되어 있으면, 리스트 밖에서 어디서던지 "확실한 문자"들은 특수문자로 취급됩니다. 그렇지 않으면 그러한 문자들은 단지 어떤 문맥에서만 특수 문자이고 다른 곳에서는 그냥문자로 취급됩니다. 특히, 이 비트가 세팅되지 않은 상태의 '*' 와 RE_LIMITED_OPS가 설정되지 않았을 때의 '+'와 '?'(또는RE_BK_PLUS_QM이 설정되었을 때의 '+', '?')는, 정규표현식의 처음(예:*foo)이나 오픈그룹연산자('(')나 대체 연산자('|')의 바로뒤(예: (*.., |*)에 오지 않을 때에만 이것을 반복 오퍼레이터로 취급합니다.
1.2. 미리 정의된 문법
이번에 살펴볼 것은 "regex.h" 에서 정의된 중요 응용 프로그램의 문법 스타일을 정의해둔 부분입니다. 여기서 기준이 되는 프로그램은, GNU Emacs, POSIX Awk, traditional Awk, Grep, Egrep 등이며, POSIX 기본과 확장 정규표현식이 정의됩니다.
#define RE_SYNTAX_EMACS 0 |
1.3. 백슬래쉬 문자
''문자는 4가지의 서로 다른 뜻을 가지고 있습니다. 그 의미는 현재의 문맥과 어떤 문법 비트가 세트되어 있는가에 따라 다릅니다. 그 뜻은 1) 그냥문자, 2) 다음문자를 인용하는 역할, 3) 오퍼레이터를 도입하는 의미, 4) 아무뜻 없음의 의미중의 하나가 됩니다.
-
문법 비트가 RE_BACKSLASH_ESCAPE_IN_LISTS 가 세트되지 않은 상태에서 리스트안에 있을 때는 일반문자가 됩니다. 예를 들어, '[]'는 ''과 매칭이 됩니다.
-
아래에 설명하는 두가지 중의 하나로 사용될 때에는 다음 글자를 이스케이프 하게 됩니다. 물론 다음글자가 특수문자이면 일반문자의 의미를 가지게 합니다.
리스트의 밖에 있을 때
리스트의 안에 있고 문법비트가 RE_BACKSLASH_ESCAPE_IN_LISTS가 세트되어 있을 때
-
어떤 특정한 문법비트가 세트되고 확실한 일반문자가 뒤따라 올때 그것은 오퍼레이터를 전개하는 역할을 합니다. 위에서 설명한 RE_BK_PLUS_QM, RE_NO_BK_BRACES, RE_NO_BK_VAR, RE_NO_BK_PARENS, RE_NO_BK_REF를 참조하세요.
'b' 는 단어에서의 경계를 짓는 것과 매칭되는 오퍼레이터입니다.
'B' 는 단어내부와 매칭되는 오퍼레이터입니다.
'<' 는 단어의 시작과 매칭되는 오퍼레이터입니다.
'>' 는 단어의 끝과 매칭되는 오퍼레이터입니다.
'w' 는 단어의 구성과 관련되는 오퍼레이터입니다.
'W' 는 비단어 구성과 관련되는 오퍼레이터입니다.
''' 는 버퍼의 시작과 매칭되는 오퍼레이터입니다.
''' 는 버퍼의 끝과 매칭되는 오퍼레이터입니다.
-
다른 모든 경우에, Regex 는 ''를 무시합니다. 예를 들자면, '
'은 'n' 과 매칭됩니다.
2. 공통적인 오퍼레이터
오퍼레이터라 함은 앞서도 말씀드렸지만 정규표현식에서 사용하는 '*' 나 '[' 같은 것을 말합니다. 정규표현식을 지원하는 awk, sed, vi, emacs에서 이런 기능을 사 용해보신 분은 얼마나 편리하고 강력한 기능을 제공하는 지 충분히 경험해보셨을 겁니다. 사실 유닉스는 텍스트 처리에서 탁월한 능력을 보여주고 있고, 유닉스의 이런 장점을 따온 리눅스도 마찬가지로 지원을 하는 기능입니다. 따라서, 정규 표현식에 대한 기본적인 지식은 반드시 익혀두시는 것이 좋습니다. 한두군데의 응용프로그램이 아니라 거의 모든 텍스트 처리 프로그램들은 정규표현식을 이용 하는 텍스트 패턴 매칭을 수행하기 때문입니다.
일반적으로 vi에서 다음과 같은 명령을 많이 사용하실 것입니다. 아래와 같은 데이터베이스가 있다고 가정하겠습니다. 여기에서 앞부분의 우편번 호부분만을 문서내에서 삭제하고 싶다고 하면 다음과 같이 간단하게 할 수 있 습니다.
100-011 서울시 중구 충무로1가 02 충무로1가 |
대부분의 오퍼레이터는 리스트 ('[', ']')안에서는 그 특수한 의미를 상실합니다. 그럼, 이제 각각의 오퍼레이터들을 하나씩 살펴보도록 하겠습니다.
2.2. 아무거나 한문자 오퍼레이터 (.)
'.'은 아무런 문자 한개와 매칭됩니다. 단, 특수한 경우로 다음과 같은 경우에 해당문자는 매칭될 수 없습니다.
|
2.3. 연결 오퍼레이터
이 오퍼레이터는 두개의 정규표현식, a와 b를 연결합니다. 즉, 'ab'는 'a'다음에 바로 'b'가 따라오는 것을 나타내는 것으로, 정규표현식 'ab'는 정규표현식 'a' 와 'b'를 연결한 것입니다. 따라서, 사실 연결 오퍼레이터는 개념적으로만 있을 뿐이지 어떤 형태는 띄고 있지 않습니다. 굳이, 형태를 나타낸다고 하면, 'ab'중 'a'와 'b'사이의 빈문자(empty character)가 연결 오퍼레이터라고 할 수 있습니다.
2.4. 반복 오퍼레이터
반복 오퍼레이터는 정규표현식 중 어떤 표현식의 형태를 반복적으로 나타내는 데 사용되는 것으로, 일반적으로 '*'(뻥개이상매칭), '+'(한개이상매칭), '?'(뻥개나 한개매칭), '{', '}'(특정한 반복 횟수 지정-간격오퍼레이터)가 있습니다.
2.4.1. 0개 이상 매칭 오퍼레이터 (*)
이 연산자는 해당 스트링을 정규표현식으로 매칭시키기 위해 가능한한 가장적은 반복횟수(0를 포함하여)를 선택합니다. 가령, 예를 들면, 'o*' 는 "0개 이상으로 구성된 o"를 매칭합니다. 'fo*'는 'fo'의 반복이 아니라 'o'의 반복을 나타냅니다. 따라서, 'fo*'는 'f', 'fo', foo'등과 매칭됩니다. 다음과 같은 경우에는 반복 오퍼레이터의 역할을 수행하지 않습니다.
-
정규표현식의 처음에 올 경우 ('*foo')
-
라인의 시작과 매칭되는 '^'나, 오픈그룹 '('나, 대체 오퍼레이터인 '|' 바로 다음에 위치할 경우 ('^*', '(*foo)', 'foo|*bar')
-
문법비트가 RE_CONTEXT_INVALID_OPS 가 세트되었다면, 그 정규표현식은 틀린것 으로 취급됩니다.
-
RE_CONTEXT_INVALID_OPS 가 세트되지 않았고, RE_CONTEXT_INDEP_OPS가 세트되었 다면, '*'는 반복 오퍼레이터 역할을 수행합니다.
-
다른경우는, '*'는 그냥문자(일반문자)입니다.
'*' 의 작동원리를 예로 들어보겠습니다. 'ca*ar' 이라는 정규표현식으로 'caaar' 이라는 문자를 매칭 시킨다고 한다면, 'ca*ar' 의 'a*' 는 'caaar'의 'aaa'를 매칭시킵니다. 그러나 마지막 전자의 'ar' 이 후자의 남은 'r'을 매칭 시키지 못하기 때문에 이전 'a*' 로 매칭된 'aaa'중 마지막 하나를 거꾸로 밟아 'a'를 취소함으로써 'ar'을 매칭시킵니다.
1) ca*ar => caaar (match) |
2.4.2. 하나이상 오퍼레이터 (+)
RE_LIMITED_OPS 로 오퍼레이터 제한을 가하면, Regex 는 이 오퍼레이터를 인식 하지 못합니다. 만일 RE_BK_PLUS_QM 이 세팅되어 있다면, '+' 가 그 역할을 하고, 아니면 '+' 가 됩니다. 이것은 앞서의 뻥개이상 오퍼레이터 ('*')와 적어도 하나는 매칭시킨다는 점을 제외하고는 같습니다. 가령, '+'가 이 오퍼레이터면, 'ca+r' 은 'car', 'caaaar'과 매칭되고, 'cr'과는 매칭되지 않습니다.
2.4.3. 0개나 한개 오퍼레이터 (?)
이것도 역시 RE_LIMITED_OPS 가 설정되어 있으면, 인식하지 못합니다. 아울러, RE_BK_PLUS_QM 의 세팅여부에 따라, '?' 나 '?'가 그 역할을 합니다. 이 오퍼레이터는 뻥개이상의 오퍼레이터와 한개나 하나도 매칭시키지 않는다는 점만 제외하면 비슷합니다. 예를 들면, 'ca?r'은 'car'나 'cr'을 매칭시키고, 다른 것들은 매칭되지 않습니다.
2.4.4. 간격 오퍼레이터 ({...})
이 오퍼레이터를 사용하면, 특정 패턴의 출현빈도를 지정할 수 있습니다. RE_INTERVALS 가 세트되어 있다면, Regex는 이것을 인식합니다. 아울러 다른 것과 마찬가지로 가능한한 가장 적은 횟수의 반복과 매칭됩니다. RE_NO_BK_BRACES 가 세트되었다면, '{', '}'가 오퍼레이터가 되며, 그렇지 않다면, '{'와 '}'가 오러페이터가 됩니다. '{' 와 '}' 가 현재의 간격 오퍼레이터라고 했을 경우에, 다음의 뜻은 다음과 같 습니다.
r{2,5} : 2개에서 5개 사이의 'r' |
-
최소한계 갯수가 최대한계 갯수보다 클 경우
-
간격 오퍼레이터 안의 숫자가 RE_DUP_MAX 의 범위를 벗어날 경우
만약, 간격 표현식이 잘못 작성되어 있고, 문법비트가 RE_NO_BK_BRACES 가 세트 되어 있을 경우에는, Regex 는 간격 오퍼레이터 안에 있는 모든 문자는 그냥문자 (일반문자)로 재구성합니다. 이 비트가 세트되어 있지 않다면, 그 정규표현식은 진짜로 틀린 것이 됩니다.
또한, 정규표현식이 유효하긴 한데, 간격 오퍼레이터가 작동할 대상이 없을 경우, RE_CONTEXT_INVALID_OPS 가 세트되어 있다면, 그 정규표현식은 틀린 것이 됩니다. 비트가 세트되어 있지 않다면, Regex 는 간격 오퍼레이터 안의 모든 문자를 그냥 문자(일반문자)로 재구성하며, 백슬래쉬는 그냥 무시해버립니다. flex 로 간단히 예를 들어보겠습니다.
queen:~/regex$ echo -e "%% |
2.5. 대체 오퍼레이터 (|)
RE_LIMITED_OPS 로 오러레이터에 제한을 가한다면, Regex 는 이것을 인식하지 않습니다. RE_NO_BK_VBAR 가 세트되어 있다면, '|'가 이것을 의미하고, 그렇지 않다면 '|'가 이 오퍼레이터를 나타냅니다.
대체 오퍼레이터는 정규표현식 중의 하나를 매칭시킵니다. 'foo|bar|quux'는 'foo'나 'bar' 또는 'quux'와 매칭됩니다.
대체 오퍼레이터는 가장 낮은 우선순위를 가지기 때문에, 그룹 오퍼레이터를 사 용하여 괄호를 묶을 수도 있습니다. 예를 들자면, '(u|li)n(i|u)x' 는 'linux', 'unix' 등과 매칭됩니다.
2.6. 리스트 오퍼레이터([...])
리스트 오퍼레이터는 하나 이상의 아이템의 집합으로 되어 있습니다. 하나의 아 이템은 문자(예: 'a'), 문자 클래스 표현식(예: '[:digit:]'), 범위 표현식('-') 이 들어갈 수 있습니다. 리스트안에 어떤 아이템을 취할 수 있는 지는 문법비트에 영향을 받습니다. 비어있는 리스트 ('[]')는 틀린 것이 됩니다.
에를 들면, '[ab]'는 'a'나 'b'를 매칭시키고, '[ad]*'는 빈문자열이나, 'a'나 'b'가 앞서는 한개이상의 문자열과 매칭됩니다.
이것과는 반대의 의미를 지니는 것이 있습니다. 위의 '[..]'가리스트 안의 하나를 매칭시키는 것이라면 '[^...]'는 리스트안의 문자가 아닌 하나의 문자와 매칭 됩니다. '^'는 "라인의 처음"이라는 용도로 사용되지만, 리스트의 처음에 오면, 이후의 문자가 아닌 하나의 문자와 매칭시키는 역할을 합니다. 앞서의 예제에서도 살펴보았지만, '[^a-zA-Z]'는 알파벳 문자가 아닌 문자와 매칭됩니다. 아울러, 일반적인 경우에, 리스트안에서는 특수문자들이 그 의미를 상실한다고 앞에서 말 씀드렸습니다. 따라서, '[.*]'는 보통 '.'나 '*' 문자를 매칭시킵니다. 조금의 특수한 경우가 있긴 합니다.
-
']' : 리스트를 닫는 역할을 합니다. 다만 '[' 다음에 ']' 가 바로오면 그냥 문자입니다.
-
'' : RE_BACKSLASH_ESCAPE_IN_LISTS 문법 비트가 세트되었다면 다음문자를 이스케이프 시키는 역할을 합니다.
-
'[:' : RE_CHAR_CLASSES 가 세트되고 그뒤에 문법에 맞는 클래스 이름이 따라 온다면 문자 클래스 오퍼레이터가 됩니다.
-
':]' : 문자 클래스를 닫는 역할을 합니다.
-
'-' : 리스트의 처음에 오지 않고 (예: '[-.]'), 범위지정에서 끝 포인터에 오지 않는 다면(예: '[a--]') 범위 오퍼레이터의 역할을 합니다.
2.6.1. 문자 클래스 오퍼레이터 ([:...:])
이것은, 유사한 성격의 문자들을 사용자가 알아보기 쉽게 단어로 그룹을 지어서 사용하는 것입니다. C 에서의 isdigit, isalpha 등과 같이 구성이 되어 있습니다. 가령, '[[:alnum:]]'은 '[a-zA-Z0-9]' 와 같은 의미를 가지지요. 사용할 수 있는 클래스는 다음과 같습니다.
-
alnum : 알파벳과 숫자
-
alpha : 알파벳
-
blank : 스페이스나 탭 (시스템에 의존적임)
-
cntrl : 아스키코드에서의 127 이상의 문자와 32 이하의 제어문자 (한글의 첫째바이트가 127 이상이므로 제어문자로 취급됨 :()
-
digit : 숫자
-
graph : 스페이스는 제외되고 나머지는 'print' 항목과 같음.
-
lower : 소문자
-
print : 아스키코드에서 32에서 126까지의 찍을 수 있는 문자
-
-
punct : 제어문자도 아니고 알파벳.숫자도 아닌 문자
-
space : 스페이스, 케리지 리턴, 뉴라인, 수직 탭, 폼피드
-
upper : 대문자
-
xdigit : 16진수, 0-9, a-f, A-F
2.6.2. 범위 오퍼레이트 (-)
범위 오퍼레이터는 리스트 안에서만 작동하며, '-'를 앞뒤로 한 두문자사이의 모든 문자를 의미합니다. 가령, 'a-f'는 'a'에서 'f'사이의 모든 문자를 포함 합니다.
주의 |
문자 클래스는 범위에서 시작과 끝포인터에 사용될 수 없습니다. 그것은 하나의 문자가 아니라 문자그룹이기 때문에 그렇죠. 잘못된 경우 : '[[:digit:]-[:alpha:]]' |
RE_NO_EMPTY_RANGES가 세트되었고, 범위의 끝 포인터가 시작포인터보다 작다면, (예: '[z-a]') 그것은 틀린 것이 됩니다. 해당 문법비트가 세트되어 있지 않다 면, 그 범위는 텅 비게 만듭니다. 만일 '-'문자를 원래의 문자의미로 리스트안에 넣을려면, 다음 중 한가지를 따라야 합니다.
-
리스트의 첫부분이나 마지막에 삽입한다.
-
범위의 시작포인터가 '-'보다 작게 하고, 끝포인터를 '-'와 같거나 크게 한다.
2.7. 그룹화 오퍼레이터 ((...) or (...))
Regex 에서는 그룹을 하나의 보조 표현식으로 처리합니다. 마치 수학연산에서 '(a*(b-c)+d)/e' 와 같이 말입니다. 여기서 바깥쪽 괄호부터 그룹1번, 안쪽 괄호('(b-c)')가 그룹2번이 됩니다. 즉, 왼쪽에서 오른쪽으로, 바깥쪽에서 u 안쪽으로 그룹의 순서가 매겨집니다. 이것은 잠시뒤에 설명할 "거꾸로 참조(후진참조)" 오퍼레이터에 의해 사용됩니다. 사실, 연산식 등에서 괄호가 연속으로 나올경우, C의 파싱에서도 왼쪽에서부터 괄호를 처리합니다. 따라서, 그룹을 사용하면 다음의 일을 처리할 수 있습니다.
-
대체오퍼레이터 ('|')나 반복오퍼레이터 ('+'나 '*')에서 인자의 범위를 지정 합니다.
-
주어진 그룹과 매칭되는 보조문자열의 인덱스의 자취를 유지합니다. 이 그룹오퍼레이터를 사용하면, "거꾸로참조" (back-reference)오퍼레이터를 사용할 수 있습니다. 레지스터를 사용할 수 있습니다.
문법비트가 RE_NO_BK_PARENS 가 세트되어 있다면, '('와 ')'가 그 역할을 하며, 아니면, '('와 ')'가 그 역할을 합니다. RE_UNMATCHED_RIGHT_PAREN_ORD 가 세 트되어 있고, '('는 있는 데 ')'가 없다면, ')'가 매칭된 것으로 생각하고 넘어 갑니다.
2.8. 거꾸로참조 오퍼레이터 (숫자)
이 오퍼레이터는 사실, 조금 헷갈리기는 하지만 비슷한 패턴이 여러번 나올경우에 상당한 편의를 제공합니다.
RE_NO_BK_REF 문법 비트가 세팅되어 있지 않다면, 이 오퍼레이터를 인식합니다. 거꾸로참조 오퍼레이터는 이미 기술한 앞의 그룹을 매칭합니다. 정규표현식 중 '숫자' 그룹을 나타내기 위해서는 '숫자'형태로 사용합니다. 숫자는 '1'에서 '9'까지 가능하며, 이것은 처음의 1에서 9까지의 그룹과 매칭됩니다.
조금더 세부적인 이야기를 해보겠습니다. '(a)1' 은 'aa'와 매칭합니다. '1'은 첫번째 그룹을 나타내며, '(a)'로 괄호로 둘러쌈으로써 그룹을 표시하는 것입니다. 마찬가지로, '(bana)na1bo1'은 'bananabanabobana'와 매칭됩니다.
조금 복잡한 이야기를 해보겠습니다. 반복 오퍼레이터 등의 작동으로 그룹이 한번 이상 매칭이 될 경우 거꾸로참조 오퍼레이터는 마지막으로 매칭된 보조 문자열을 매칭합니다. 말로만 하면 이해가 안되므로, '((a*)b)*12' 와 'aabababa'와의 매칭여부를 따져볼까요? :) 이게 산술연산식이면 얼마나 좋겠습니까마는 안타깝게도 정규표현식이니만큼 조금 햇갈리더라도 잘 살펴보면 그리 어렵지만은 않습니다. 괄호의 순서에 따라 그룹은 다음과 같이 대응합니다.
1번 그룹 |
1) ((a*)b)*12 aabababa |
queen:~/regex$ echo "aabababa" | egrep "((a*)b)*12" |
'(one()|two())-and-(three2|four3)' 은 'one-and-three' 와 'two-and-four' 와 매칭이 되지, 'one-and-four'와 'two-and-three'와는 매칭이 되지 않습니다. 여기에서, 먼저 'one-and-' 부분까지 매칭이 되었다고 하면, 두번째 그룹(one 옆의 괄호)은 빈문자열과 매칭이 되었고, 세번째 그룹(two옆의 괄호)는 매칭에 관여하지 않게 됩니다. 그런상황에서 'four'가 매칭이 될 경우, Regex 는 그룹 3을 참조하기 위해 거꾸로 돌아갑니다. 그러나 이미 그룹3은 매칭에 관여하지 않기 때문에 전체 매칭은 실패로 돌아갑니다.
거꾸로참조 오퍼레이터를 반복 오퍼레이터의 인자로 쓸수도 있습니다. 예를 들면, '(a(b))2*'는 'a'다음에 'b'가 하나이상 오는 것과 매칭이 됩니다. 아울러, '(a(b))2{3}' 은 'abbbb'와 매칭이 됩니다. 당연히, n번째의 보조표현이 없다면 매칭은 실패하게 됩니다. 재미있지 않습니까? ^^
2.9. 닻(anchoring) 오퍼레이터(^,$)
닻 오퍼레이터는 전체 문자열이나 하나의 라인에서 시작과 끝을 나타내는 것들입니다.
2.9.1. 라인시작 오퍼레이터(^)
이 오퍼레이터는 문자열의 시작이나 뉴라인 문자 다음의 빈문자열와 매칭할 수 있습니다. 다음의 경우에 '^'는 이 오퍼레이터의 역할을 하고, 다른 경우에는 그냥문자가 됩니다. * '^' 이 패턴에서 처음에 위치한다. 가령, '^foo' 같은 경우 * 문법비트가 RE_CONTEXT_INDEP_ANCHORS 가 세트되었고, 골호나 그룹..등의 밖에 있을 경우 * 오픈그룹이나 대체 오퍼레이터 다음에 따라올 경우, 예를 들면, 'a(^b)', 'a|^b'
이러한 규칙은 '^' 를 포함하는 유효한 패턴이라고 하더라도 매칭될 수 없다는 것을 암시합니다. 만약, 패턴 버퍼에서 newline_anchor 필드가 세트되었다면, '^'는 뉴라인 다음과의 매칭에 실패합니다. 이것은 가끔 전체 문자열을 라인으로 나누어서 처리하지 않을 때에 유용하다고 하는군요.
3. GNU 오퍼레이터
이 장에서 설명하는 것은 POSIX에는 정의되지 않았으나 GNU 에 의해 정의된 오퍼레이터입니다.
3.1. 워드 오퍼레이터
여기에 나오는 오퍼레이터는 Regex 가 단어들의 일부분을 인식해야 가능합니다. Regex 는 어느 문자가 단어의 일부분인지 아닌지를 결정하기 위해 문법 테이블을 사용합니다.
사실, 텍스트를 처리하거나 관련작업을 하다보면 단어단위로 하여야 할 작업이 많이 있습니다. 하지만 표준 POSIX에서는 단어(워드)단위의 작업에 대해 특별히 지원가능하게 규정된 것이 없습니다. 하지만 GNU 에서는 쓸만한 워드 단위의 작업을 유용하게 처리할 수 있는 다양한 오퍼레이터를 지원함으로써 정규표현식을 좀더 강력하게 제어할 수 있게 되었습니다. 이런 워드 오퍼레이터는 많이 사용되고 있지 않지만 활용을 잘 하면 아주 똑똑한 일을 많이 처리할 수 있습니다.
3.1.1. 이맥스가 아닌 문법 테이블
문법 테이블은 일반적인 문자세트의 문자들에 의해 인덱스화된 하나의 배열입니다. Regex 는 항상 이 인덱스 테이블을 사용하기 위해 항상 char * 변수값을 사용합니다. 몇몇 경우에는 이 변수값을 초기화하고 순서대로 여러분들이 초기화시킬수도 있습니다.
-
Regex 가 전처리 심볼 emacs 로 컴파일되었고, SYNTAX_TABLE 이 둘다 정의되지 않았다면, Regex 는 re_syntax_table 을 할당하고 i가 글자이거나 숫자, '_' 이라면, 원소 i나 SWord를 초기화한다. i가 그렇지 않다면 그 값은 0으로 초기화됩니다.
-
Regex 가 정의되지 않은emacs로 컴파일되었으나 SYNTAX_TABLE 이 정의되었다면 여러분들은 char * 변수 re_syntax_table 을 유효한 문법 테이블(syntax table)로 정의하여야 합니다.
-
Regex가 전처리 심볼 emacs가 정의된 상태에서 컴파일되었다면 어떤 일이 일어나는 지는 뒤에서 설명합니다.
3.1.2. Match-word-boundary 오퍼레이터(b)
'b' 는 단어를 구분짓습니다. 즉, 이것은 단어의 시작과 끝의 빈 문자열과 매칭 이 됩니다. 예를 들면, 'bratb'는 분리된 낱말, 'rat'을 매칭시킵니다. 그러나,단어의 범위를 어떻게 규정하는가 하는 것은 몇가지 예제로 충분히 유추 할 수 있을 것입니다.
이 강좌의 처음에 든 예를, 이 오퍼레이터를 사용하면 더 간단합니다.
grep "bintb" regex.c |
3.1.3. Match-within-word Operator (B)
'B' 는 낱말안에서의 빈문자열과 매칭합니다. 예를 들면, 'cBratBe' 는 'create' 와 매칭하고, 'dirty Brat'은 'dirty rat'과 매칭하지 않습니다.
3.1.5. Match-end-of-word Operator (>)
'>' 는 단어의 끝에서 빈문자열과 매칭합니다.
queen:~/regex$ grep "<char>" regex.c |
3.1.7. Match-non-word-constituent Operator (W)
'W' 는 낱말의 성분요소가 아닌 어떤 문자와 매칭합니다.
queen:~/regex$ echo " int " | grep "Wiwt" |
4. GNU 이맥스 오퍼레이터
이제 설명할 것은 POSIX에서는 정의되지 않았고, GNU에서 정의되었으며, 이것을 사용할 때는 Regex 가 컴파일 될 때 전처리 심볼을 정의된 emacs로 하여야 합니다.
4.1. 문법 클래스 오퍼레이터 (syntactic class operators)
이 오퍼레이터들은 Regex 가 이 문법 문자들의 클래스를 인식하여야 합니다. Regex 는 이것을 검사하기 위해 문법 테이블을 사용합니다.
4.1.1. Match-syntactic-class Operator (sclass)
이 오퍼레이터는 문법 클래스가, 서술된 문자가 명시하는, 어떤 문자를 매칭 합니다. 'sclass'가 이 오퍼레이터를 나타내며, class는 여러분들이 원하는 문법 클래스를 나타내는 문자입니다. 예를 들여, 'w' 는 단어를 구성하는 문자의 문법 글래스를 나타내므로, 'sw'은 단어를 구성하는 아무 문자와 매칭합니다.
5. Regex 프로그래밍
Regex 는 세가지 다른 인터페이스가 있습니다. 하나는 GNU를 위해 디자인 된 것과, 하나는 POSIX 에 호환되는 것, 나머지 하나는 Berkeley UNIX 에 호환되는 것입니다. 다른 유닉스 버젼에도 충분히 호환되는 것으로 프로그래밍을 하시려면, POSIX Regex 함수로 프로그래밍하시는 것이 좋을 겁니다. 그렇지 않고 일반적으로, GNU의 강력한 기능을 사용하시려면 GNU Regex 함수를 사용하시는 것이 좋을 것 입니다. 그럼, 먼저 비교적 간단한 BSD Regex 함수부터 살펴보겠습니다.
5.1. BSD Regex 함수
Berkeley UNIX 에 호환되는 코드를 작성하려면, 이 함수를 사용하십시요. 그러나, 그다지 많은 기능은 지원되지 않고, 간단한 두개의 함수만이 지원됩니다. 따라서, BSD Regex 함수로는 간단한 검색은 할 수 있으나, 매칭작업은 할 수 없습니다. BSD Regex 함수로 검색을 하기위해서는 다음의 순서를 따라야 합니다.
-
re_syntax_options 의 값을 원하는 정규표현식 문법비트의 값으로 설정합니다. 앞에서 설명이 된, 각종의 문법 비트를 조합하여 설정할 수 있습니다.
예) re_syntax_options = RE_SYNTAX_POSIX_BASIC;
-
정규표현식을 컴파일 합니다.
char *re_comp (char *regex)
re_comp 는 성공적으로 컴파일되었다면, NULL을 돌려주며, 정규표현식이 잘못 되거나 문제가 생겨서 컴파일 할 수 없다면 에러 문자열을 돌려줍니다. 이 에러 문자열은 뒤에 나올 re_compile_pattern 의 그것과 같습니다.
-
검색작업을 합니다.
피드 구독하기: 댓글 (Atom)
댓글 없음:
댓글 쓰기