[시스템프로그래밍/Linux] 2. File I/O(1)

1. Linux System Calls

리눅스에는 아래와 같이 다양한 시스템 콜이 존재합니다. 

• File descriptor I/O
  • open(); close(); creat(); read(); write();
  • seek();   // random access
  • fcntl();   // for file/record locking
• Process control
• Thread programming
• IPC
• Signal handling
• Memory management
• Synchronization
• Time management
• Network socket API(TCP, UDP)

그 중 File descriptor I/O에 대해 알아봅니다. 

 

2. System Calls & Library Calls for File I/O

파일과 관련된 시스템 프로그래밍은 시스템 콜을 통한 시스템 프로그래밍과 라이브러리 콜을 통한 시스템 프로그래밍이 있습니다. 

• System Calls for File descriptor I/O
  • open(); close(); creat(); read(); write();
  • seek();
  • fcntl();
• Library Calls for File I/O
  • fopen(); freopen(); fclose(); fread(); fwrite();
  • fgetc(); fgetchar(); fputc; putchar(); ....
  • fseek(); fprintf(); fsanf(); ...

3. System Calls vs. Library Calls

시스템 콜과 라이브러리 콜의 가장 큰 차이점은 시스템 콜은 운영체제 내에 존재하는 인터페이스이고, 라이브러리 콜은 운영체제 밖에 존재하는 인터페이스 입니다. 

시스템 콜은 커널의 내부에 구현되어 있기 때문에 유저가 커널에 진입하는 entry point가 됩니다. 

라이브러리 콜은 커널 밖에 존재하기 때문에 유저의 콜을 라이브러리가 변경시켜서 커널에 전달하게 됩니다.

라이브러리 콜은 API(application programming interface)라고도 부릅니다. 

 

4. Library

라이브러리 자체도 하나의 프로그램입니다. 라이브러리 콜을 부르면, 시스템 콜을 통해 시스템 커널에 있는 시스템 유틸리티를 사용할 수 있도록 해줍니다. 라이브러리에는 자주 사용되는 기능들을 프로그램화 시켜서 만들어 놓은 object program들이 있습니다. 

 

일반적으로 라이브러리는 소스코드 형태로 존재하지 않고, 컴파일된 object 형태로 존재합니다. 

e.g. Grapic Lib, Mathematical Lib, etc...

 

리눅스에서 각종 라이브러리들은 "/lib" 또는 "usr/lib"에 존재합니다. 

 

라이브러리를 이용해서 유저가 프로그래밍을 한다는 것은 라이브러리가 제공하는 API 함수들을 유저 프로그램이 call해서 직접 실행시켜 주는 것 입니다. 

실제로 library function을 유저가 call하면 유저 프로그램에서 콜을 할 때 link되어서 동작합니다. 

소스 프로그램에서 코드를 작성하고 컴파일 하면 실행파일이 나오게 되는데, 이 실행파일을 실행하면 라이브러리의 함수들을 불러쓰기 위해서 linker라고하는 컴파일러 안에 있는 도구가 library function을 linking시켜줍니다. 

 

라이브러리를 한 마디로 정리하면 "유저가 자주 사용하는 기능들을 함수화 시켜서 만들어 놓은 프로그램 또는 object" 입니다. 

 

라이브러리를 만드는 방식으로는 크게 두 가지 방식이 있습니다. 

• Shared library (*.so, *.dll)
  • 공유 라이브러리 -> 하나만 만들고 공유해서 사용. 실행 루틴이 메모리에 하나만 존재 
  • 함수의 복사본 하나만 메모리에 저장됨. 기능을 여러 프로세스간에 공유 (memory saving)
  • 함수의 주소는 실행하는동안 resolve됨. (dynamic linking or binding)
  • dynamic linking을 위한 symbol table이 메모리에 있음 (memory overhead)
  • 많은 프로그램이 동시에 돌아갈 때 유용함
• Static library (*.a)
  • 동일한 동작을 하는 코드라도 각각의 프로그램에 모두 독립적으로 static하게 실행파일에 들어감
  • 컴파일 할 때, 각 binary program에 필요한 함수를 더해줌
  • 따라서, 함수의 동일한 복사본 몇 개가 메모리에 상주함(memory overhead)
  • embedded systems에서 속도를 높이기 위한 용도로 사용
  • 링크하는 동작(jump)이 없기 때문에 프로그램은 더 빠르게 실행됨. but 메모리 효율성이 떨어짐

5. Standard I/O Library

<staio.h>

 : (일반적으로 콘솔과 파일에서) standard I/O 라이브러리의 symbol과 API를 정의하는 헤더파일

file I/O를 위한 라이브러리 콜이 정의되어 있습니다. 

 

6. FILE object in C

<stdio.h> 라이브러리를 사용하면 대상이 되는 객체가 생성이 되는데, 그 객체가 I/O stream object입니다. 

• 포인터 FILE* 형태로 넘겨받음
• 파일 스트림 포인터는 open file을 지정하는데 사용함 
• 파일 포인터는 open file에 대한 여러 시스템 정보를 담고있음

특별히 shell의 경우 stdio 라이브러리를 이용해서 I/O stream을 할 수 있는 객체를 3개 제공합니다.

 -> stdin, stdout(표준입출력), stderr(표준 에러)

 

7. File descriptor

라이브러리 콜의 경우에는 iostream 객체인 FILE*를 이용했는데, 또 다른 방법으로 시스템 콜을 이용할 경우 FILE* 객체를 사용하지 않고 File descriptor를 사용할 수 있습니다. 

• open file에 대한 file descriptor는 하나의 integer 숫자에 대응함
• descriptors 0, 1, 2는 각각 stdin, stdout, stderr에 assign됨
• user open file에 대해, file descriptor는 3부터 오름차순으로 할당됨
• 일반적으로 사용자는 최대 1024개의 파일을 열 수 있음

궁극적으로 standard I/O library function(FILE* 객체)은 library function이 실제 커널에 접근해서 system call을 부르는 것입니다. 예를들어, printf, fprintf, puts, ... 는 write()를 불러 커널의 시스템을 사용하게 하는 것 입니다. 

 

그렇다면 우리는 왜 Library를 사용할까요?

그 이유는 시스템 콜을 사용하는 것 보다 더 편리하고, formatting이 있고, 성능적인 측면에서는 user level buffering을 제공하기 때문입니다. 

 

8. File stream & File Descriptor

file stream은 라이브러리 콜을 사용하는 방식이고, file descriptor는 시스템 콜을 사용하는 방식입니다.

이는 1:1로 mapping 됩니다.

(또한 하나의 프로그램에서 두 가지 방식을 모두 사용할 수도 있으나 이는 드문 방식입니다. )

 

따라서, 우리는 다음의 함수들을 이용해 각각의 대응되는 객체를 얻어낼 수 있습니다. 

#include <stdio.h>
int fileno(FILE *stream);

이는 open된 FILE stream에 대한 file descriptor number을 반환합니다.

#include <stdio.h>
FILE *fdopen(int fildes, const char *mode);

이는 argument로 file descriptor number가 들어가고, 파일의 모드(읽기/쓰기)가 들어가면 

이에 대응되는 FILE* 객체(file stream object)를 반환받을 수 있습니다.

 

9. Library buffering

stdio 라이브러리 (FILE*)를 사용하는 FILE I/O에서는 library buffering이라는 개념이 적용됩니다.

일반적으로 컴퓨터 시스템에서 buffer란, 데이터를 임시로 저장할 수 있는 메모리 공간입니다. 

그래서 라이브러리 버퍼란, 데이터를 쓰기 전에 공간을 마련해놓고 임시로 데이터를 저장하는 공간을 말합니다. 

 

FILE*를 이용해 파일을 열어서 file에 데이터를 write할 때, 직접적으로 파일에 쓰지 않고 버퍼에 데이터를 모아서 한 번에 처리할 수 있는데

이러한 방식으로 시스템 콜을 부르는 횟수를 줄일 수 있습니다. 

데이터를 file에 쓰기 위해서는 커널에 쓰기 요청을 해서 (시스템 콜을 불러서) 데이터를 써야 합니다. 

이 때 시스템 콜을 많이 부르면 시스템 부하가 걸릴 수 있기 때문에 버퍼에 모아서 이를 한꺼번에 쓰는 방식을 사용합니다.

 

stdio 라이브러리에서 버퍼링을 하는 방식에는 3가지가 있습니다. 

• Full buffering
  • lib-level buffer
  • disk block단위로 버퍼의 크기를 크게 잡음(multiple KBs... 4KB, 8KB...) 
  • 시스템 콜 횟수를 상당히 줄일 수 있음
  • 버퍼를 체우지 않은 상태에서 그대로 데이터를 디스크에 써야하는 경우, fflush()라는 라이브러리 콜을 통해 버퍼의 데이터가 체워지지 않더라도 동작을 수행할 수 있음
• Line buffering
  • shell의 console I/O에서 주로 사용함
  • keyboard에 "enter"가 들어올 때 까지 해당 데이터를 buffering함
  • getchar() problem : enter을 치지 않고 입력하게 되면 데이터를 잃어버릴 가능성이 있음
  • full buffering에 비해 버퍼의 크기가 compact해서 메모리 낭비를 줄일 수 있음
• Unbuffering
  • 버퍼링을 하지 않기 때문에 메모리 공간이 필요가 없음
  • 데이터를 쓸 때 마다(라이브러리 콜을 할 때 마다) 시스템 콜이 발생하기 때문에 성능에 좋지 않음
  • 하지만 데이터 유실 가능성이 낮기 때문에 안전하게 데이터 전송 가능

Linux Library Buffering

 - stderr : 항상 unbuffering -> 항상 reporting되어야 하기 때문

 - stdin/stdout : line buffering -> console에 출력할 때는 라인 단위의 버퍼링을 사용

 - anything else : full buffering (by default)

 

10. Set Buffering Type

#include <stdio.h>
//set a buffer address that user provides
void setbuf(FILE *stream, char *buf);
		buf : non-NULL address for normal buffering
        		NULL if unbuffering
    return : none
    
//set a buffer address and buffering type
int setvbuf(FILE *stream, char *buf, int type, size_t size);
		buf : same as the above
        type : the type of buffering
        size : buffer size
    return 0 for success, or nonzero for an error

 

type 변수에 들어갈 수 있는 값은 다음과 같습니다. 

type	meaning
_IOFBF	Full buffering
_IOLBF	Line buffering
_IONBF	Unbuffering

 

11. Kernel Buffering

커널 영역에서도 커널 버퍼링 개념을 사용합니다. 유저 레벨의 라이브러리 콜을 이용했을 때의 버퍼링과는 별도로, 운영체제 내의 커널에서도 데이터를 모아 처리하는 버퍼가 기본적으로 구현되어 있습니다. 

 

buffer가 한 방향으로 데이터를 임시적으로 모아놓고 전송하는 개념이라면,

cach는 중간 매개체 역할로 읽거나 쓸 때 데이터의 유무를 체크하는 역할로 버퍼링의 기능을 동시에 수행할 수 있습니다. 

 

리눅스 커널에는 page cach라는 I/O를 위한 버퍼가 존재합니다. 

주기적으로 disk와 같은 storage에 data를 쓸 수 있습니다.

cach는 쓰기 뿐만아니라 읽기에도 적용이 됩니다. storage에서 데이터를 읽게되면 먼저 buffer cach에 데이터가 올라온 다음에 user에게 데이터를 전달해 줍니다. 

 

12. fflush

라이브러리 버퍼든, 커널 버퍼든 버퍼를 특정한 시기에 실제 매체에 쓰도록 동작시켜주지 않으면 데이터는 메모리상에만 존재하게 되므로 데이터가 유실될 가능성이 있습니다.

따라서 버퍼가 가득 차지 않은 상황에서 이를 강제적으로 내려주기 위한 동작이 필요한 경우가 발생하는데, 이런 경우에 사용할 수 있는 것이 fflush입니다.

fflush를 사용하면 라이브러리에서 버퍼링 된 데이터를 flush해서 커널레벨로 내려줍니다. 

#include <stdio.h>
int fflush(FILE *stream);
  return 0 for normal
  	EOF for error

line buffering을 사용하는 printf의 경우, system console에는 그대로 출력될 수 있지만 이를 file에 쓰려고 하면(fprintf) 버퍼를 사용하기 때문에 버퍼에만 존재하여 파일에 써지지 않을 수 있습니다. 따라서 fflush()를 사용해야합니다. 

printf("something");
fflush(stdout);

block device를 사용할 경우, (e.g. disk)

user level에 있는 버퍼를 fflush를 이용해 써주더라 하더라도 커널레벨까지만 내려갑니다. 따라서 커널의 page cach에 데이터가 써집니다. 실제적으로 이 데이터를 안정적으로 쓰려면 storage device에 데이터가 써져야 합니다.

따라서 커널 level의 데이터를 disk로 완전히 내려주기 위해서는 sync()라는 시스템 콜을 불러줘야합니다. 

 

13. I/O buffering & Sync