📚 python 기본 개념

1. 파이썬 자료구조 (Data Structures)

자료구조는 여러 데이터를 효율적으로 저장하고 관리하기 위한 방법입니다. 파이썬은 다양한 내장 자료구조를 제공합니다.

• 리스트 (List - list)
  • 특징: 순서가 있고, 변경 가능한(mutable) 시퀀스. 중복된 값을 가질 수 있습니다. 인덱스를 통해 요소에 접근합니다.
  • 동작: 요소 추가(append, insert), 삭제(remove, pop), 변경이 자유롭습니다. 내부적으로 동적 배열로 구현되어 크기가 변할 수 있습니다.
  • 용도: 순서가 중요하고 데이터가 변경될 수 있는 경우에 주로 사용됩니다.
• 튜플 (Tuple - tuple)
  • 특징: 순서가 있지만, 변경 불가능한(immutable) 시퀀스. 중복된 값을 가질 수 있습니다. 인덱스를 통해 요소에 접근합니다.
  • 동작: 생성 후에는 요소를 추가, 삭제, 변경할 수 없습니다. 리스트보다 메모리를 적게 사용하고 반복 속도가 약간 더 빠를 수 있습니다.
  • 용도: 변경되지 않아야 하는 데이터 묶음 (예: 함수의 반환 값, 딕셔너리 키의 일부)에 사용됩니다.
• 딕셔너리 (Dictionary - dict)
  • 특징: 키(Key)와 값(Value)의 쌍으로 이루어진 컬렉션. 키는 고유하고 변경 불가능한(hashable) 값이어야 합니다 (주로 문자열, 숫자, 튜플 사용). 값은 어떤 타입이든 가능합니다. Python 3.7+ 부터는 입력 순서가 유지됩니다.
  • 동작: 키를 통해 값에 매우 빠르게 접근, 추가, 수정, 삭제할 수 있습니다 (해시 테이블 기반).
  • 용도: 키를 통해 데이터를 빠르게 찾아야 하는 경우, 데이터 간의 연관 관계를 표현할 때 유용합니다.
• 세트 (Set - set)
  • 특징: 순서가 없고, 중복된 값을 허용하지 않는 컬렉션. 변경 가능한(mutable) 자료구조입니다.
  • 동작: 요소의 존재 여부를 매우 빠르게 확인할 수 있습니다. 합집합(|), 교집합(&), 차집합(-) 등 집합 연산을 지원합니다.
  • 용도: 중복 제거, 멤버십 테스트, 집합 연산에 주로 사용됩니다.
• 프로즌셋 (Frozenset - frozenset)
  • 특징: 세트와 유사하지만 변경 불가능한(immutable) 버전입니다.
  • 동작: 생성 후에는 요소를 추가하거나 삭제할 수 없습니다. 변경 불가능하므로 딕셔너리의 키나 다른 세트의 요소로 사용될 수 있습니다.
  • 용도: 변경되지 않는 집합이 필요하거나, 딕셔너리 키 등으로 사용해야 할 때 쓰입니다.

이 외에도 collections 모듈에서 deque, Counter, defaultdict 등 더 전문적인 자료구조를 제공합니다.

2. 제너레이터 (Generators)

제너레이터는 이터레이터(iterator)를 생성하는 간단하고 강력한 방법입니다. 모든 값을 메모리에 저장하는 대신, 필요할 때마다 값을 하나씩 생성(yield)합니다.

• 동작 방식:
  1. 함수 내에서 yield 키워드를 사용하면 해당 함수는 제너레이터 함수가 됩니다.
  2. 제너레이터 함수를 호출하면 즉시 실행되지 않고 제너레이터 객체(이터레이터)를 반환합니다.
  3. next() 함수를 호출하거나 for 루프 등에서 제너레이터 객체를 사용하면 함수 내부 코드가 실행되다가 yield 문을 만납니다.
  4. yield는 값을 반환하고 함수의 실행을 일시 중지합니다. 함수의 모든 상태(지역 변수 등)는 유지됩니다.
  5. 다시 next()가 호출되면 중지된 지점 다음부터 실행을 재개합니다.
  6. 함수 실행이 끝나거나 return 문을 만나면 StopIteration 예외가 발생합니다.
• 특징 및 장점:
  • 메모리 효율성: 대량의 데이터를 처리할 때 모든 값을 미리 생성하여 메모리에 저장할 필요가 없습니다. 필요한 시점에 하나씩 생성하므로 메모리 사용량이 매우 적습니다.
  • 지연 평가 (Lazy Evaluation): 실제 값이 필요한 시점까지 계산을 미룹니다.
  • 간결한 코드: 복잡한 이터레이터 클래스(__iter__, __next__ 구현)를 작성하는 것보다 훨씬 간결하게 이터레이터를 만들 수 있습니다.
  • 무한 시퀀스 생성 가능: 메모리 제약 없이 무한히 값을 생성하는 시퀀스를 만들 수 있습니다.

def count_up_to(n):
  i = 1
  while i <= n:
    yield i  # 값을 반환하고 여기서 잠시 멈춤
    i += 1

# 제너레이터 객체 생성
counter = count_up_to(3)

print(next(counter)) # 출력: 1 // 여기서 잠시 멈춤

# 여기서 아무런 짓을 해도 2,3이 출력되지 않음
print(next(counter)) # 출력: 2

# 여기서 아무런 짓을 해도 3이 출력되지 않음
print(next(counter)) # 출력: 3 이렇게 직접 호출을 해야 3이 출력됨
# 그러니까 대량의 데이터를 처리할 때 사용하는 거고, 메모리 효율적으로 사용할 수 있음, 
# 당연히 실제 값이 필요한 시점까지 계산을 미루는 거고, 무한 시퀀스 생성도 가능함(출력하지 않으니까)
# 사용도 매우 간단하고 쉬움
# print(next(counter)) # 여기서 StopIteration 예외 발생

실무에서 제너레이터 사용 예시

from typing import AsyncGenerator

from sqlalchemy.ext.asyncio import AsyncSession, async_sessionmaker, create_async_engine

from .config import settings

engine = create_async_engine(settings.DATABASE_URL, echo=True, future=True)

AsyncSessionLocal = async_sessionmaker(engine, class_=AsyncSession, expire_on_commit=False)


async def get_session() -> AsyncGenerator[AsyncSession, None]:
    async with AsyncSessionLocal() as session:
        try:
            yield session
        except Exception:
            await session.rollback()
            raise

세션 제공 (Yield):

yield session: get_session 함수의 실행이 여기서 일시 중지됩니다. 그리고 async with를 통해 얻은 session 객체가 get_session 함수를 호출한 쪽(예: 웹 요청 핸들러)으로 **반환(제공)**됩니다. 호출한 쪽에서는 이 session 객체를 사용하여 데이터베이스 쿼리, 추가, 수정, 삭제 등의 작업을 수행합니다.

3. 데코레이터 (Decorators)

데코레이터는 기존 함수나 메소드의 코드를 직접 수정하지 않으면서, 추가 기능을 덧붙이거나 수정할 수 있게 해주는 강력한 기능입니다. @ 기호를 사용하여 적용합니다.

• 동작 방식:
  1. 데코레이터는 함수를 인자로 받아서, 수정된 또는 새로운 함수를 반환하는 함수 (고차 함수)입니다.
  2. @my_decorator를 함수 func 위에 쓰면, 파이썬은 내부적으로 func = my_decorator(func) 와 같이 처리합니다.
     • 즉, 원래 함수 func가 데코레이터 함수 my_decorator에 전달되고,
     • 그 반환값(주로 내부 wrapper 함수)이 다시 func라는 이름에 할당됩니다.
  3. 이후 func()를 호출하면 실제로는 데코레이터가 반환한 함수가 실행됩니다.
     • 이 반환된 함수는 보통 내부에서 원본 함수를 호출하면서 추가적인 로직(전처리, 후처리)을 수행합니다.
• 특징 및 용도:
  • 코드 중복 감소: 로깅, 접근 제어, 성능 측정, 트랜잭션 처리 등 여러 함수에 공통적으로 적용될 로직을 데코레이터로 만들어 재사용할 수 있습니다.
  • 가독성 향상: 함수의 핵심 로직과 부가 기능을 분리하여 코드를 더 깔끔하고 이해하기 쉽게 만듭니다.
  • 유지보수 용이성: 공통 로직 변경 시 데코레이터 함수만 수정하면 됩니다.

import time

def measure_time(func):
  def wrapper(*args, **kwargs):
    start_time = time.time()
    result = func(*args, **kwargs) # 원본 함수 호출
    end_time = time.time()
    print(f"Function {func.__name__} took {end_time - start_time:.4f} seconds")
    return result
  return wrapper # 내부 함수(wrapper)를 반환

@measure_time # 데코레이터 적용
def slow_function(n):
  time.sleep(n)
  return "Done"

slow_function(1) # 출력: Function slow_function took 1.xxxx seconds

# 내부에서는 아래 처럼 동작함
slow_function = measure_time(slow_function)

4. 비동기 프로그래밍 (Asyncio)

asyncio는 파이썬 표준 라이브러리로, async/await 문법을 사용하여 비동기 코드를 작성하기 위한 프레임워크입니다. 주로 I/O 바운드(네트워크 통신, 파일 읽기/쓰기 등 대기 시간이 많은 작업) 작업에서 높은 성능을 발휘합니다.

• 동작 방식 (이벤트 루프 기반):
  1. async def로 정의된 함수는 코루틴(coroutine) 객체를 반환합니다. 코루틴은 실행을 중간에 멈추고 다른 코루틴에게 제어권을 넘겨줄 수 있는 특별한 함수입니다.
  2. await 키워드는 코루틴 내에서 다른 코루틴이나 awaitable 객체(예: asyncio.sleep, I/O 작업)의 완료를 기다릴 때 사용됩니다. await를 만나면 현재 코루틴의 실행은 일시 중지되고, 프로그램의 제어권은 **이벤트 루프(event loop)**로 넘어갑니다.
  3. 이벤트 루프는 현재 대기 중인 다른 작업(다른 코루틴)을 실행합니다.
  4. await 했던 작업이 완료되면 (예: 네트워크 응답 도착), 이벤트 루프는 해당 지점에서 중지되었던 코루틴의 실행을 다시 재개합니다.
• 특징 및 장점:
  • 싱글 스레드 동시성: 여러 스레드나 프로세스를 사용하지 않고도 단일 스레드 내에서 여러 작업을 동시에 처리하는 것처럼 보이게 합니다 (주로 I/O 대기 시간을 활용). GIL의 제약을 받지 않고 I/O 작업을 효율적으로 처리할 수 있습니다.
  • 높은 I/O 처리량: 네트워크 서버, 웹 클라이언트 등 동시에 많은 I/O 연결을 처리해야 하는 애플리케이션에 적합합니다.
  • 명시적 비동기: async/await 키워드를 통해 코드의 어떤 부분이 비동기적으로 동작하고 대기하는지 명확하게 알 수 있습니다.

import asyncio

async def say_after(delay, what):
  await asyncio.sleep(delay) # delay 초 동안 대기
  print(what)

async def main():
  print("Started")
  task1 = asyncio.create_task(say_after(1, 'hello')) # 작업을 이벤트 루프에 등록
  task2 = asyncio.create_task(say_after(2, 'world'))

  await task1 # task1 완료될 때까지 대기
  await task2 # task2 완료될 때까지 대기
  print("Finished")

# Python 3.7+
asyncio.run(main())
# 출력 순서:
# Started
# (1초 후) hello
# (1초 더 후) world
# Finished

5. GIL (Global Interpreter Lock)

GIL은 전역 인터프리터 잠금(Global Interpreter Lock)의 약자로, CPython(파이썬 표준 구현체)에서 사용되는 메커니즘입니다. 이것은 하나의 프로세스 내에서 여러 스레드가 동시에 파이썬 바이트코드를 실행하지 못하도록 막는 뮤텍스(mutex, 상호 배제 잠금)입니다.

• 동작 방식:
  • CPython 인터프리터는 실행될 때 GIL을 획득해야 합니다.
  • 한 번에 오직 하나의 스레드만이 GIL을 보유하고 파이썬 바이트코드를 실행할 수 있습니다.
  • 일정 시간 실행하거나, 특히 I/O 작업(파일 읽기/쓰기, 네트워크 통신 등)을 만나면 해당 스레드는 GIL을 방출(release)하여 다른 스레드가 실행될 기회를 줍니다.
• 영향:
  • CPU 바운드 작업: 계산 집약적인 작업의 경우, 멀티코어 프로세서가 있더라도 여러 스레드를 사용해도 진정한 병렬 실행이 불가능합니다. 오히려 스레드 간 GIL 획득 경쟁 때문에 성능이 저하될 수도 있습니다.
  • I/O 바운드 작업: 스레드가 I/O 대기 중에 GIL을 놓아주기 때문에, 다른 스레드가 그 시간에 실행될 수 있습니다. 따라서 스레딩은 I/O 바운드 작업의 동시성 처리에는 여전히 효과적입니다.
• 왜 존재하는가?
  • CPython의 메모리 관리(특히 참조 카운팅)를 단순화하고 스레드 안전하게 만들기 위해 도입되었습니다.
  • C 확장 모듈 개발을 용이하게 합니다 (GIL이 스레드 관련 복잡성을 일부 해결).
• 극복 방법:
  • 멀티프로세싱 (multiprocessing 모듈): 각 프로세스는 자신만의 파이썬 인터프리터와 메모리 공간, 그리고 자신만의 GIL을 가지므로, 여러 CPU 코어를 활용한 진정한 병렬 처리가 가능합니다. CPU 바운드 작업에 적합합니다.
  • Asyncio: 앞서 설명했듯이 싱글 스레드 내에서 이벤트 루프를 통해 I/O 바운드 작업의 동시성을 효율적으로 관리합니다. GIL 경쟁을 피할 수 있습니다.
  • 다른 파이썬 구현체: Jython(JVM 기반), IronPython(.NET 기반) 등 GIL이 없는 구현체도 있지만, CPython과의 호환성이나 생태계 크기에서 차이가 있을 수 있습니다.