LangChain2024. 11. 6. 00:34[LangChain] Cache
캐싱(Caching)LangChain은 LLM을 위한 선택적 캐싱 레이어를 제공한다.이는 두 가지 이유로 유용하다.동일한 완료를 여러 번 요청하는 경우 LLM 공급자에 대한 API 호출 횟수를 줄여 비용을 절감할 수 있다.LLM 제공업체에 대한 API 호출 횟수를 줄여 애플리케이션의 속도를 높일 수 있다.InMoeryCache메모리 공간을 활용한 캐싱단점: 서버가 재시작되거나 메모리에서 사라지면 캐시 데이터도 함께 소실됨.%%timefrom langchain.globals import set_llm_cachefrom langchain.cache import InMemoryCacheset_llm_cache(InMemoryCache())response = chain.invoke({"country":"한국"..