[Milvus] 7. Milvus 엔티티 삽입, 업데이트(업서트), 삭제

엔티티 삽입

엔티티

컬렉션에서 동일한 필드 집합을 공유하는 데이터 레코드
RDB 에서 레코드와 동일한 개념
동일한 컬렉션 내의 엔티티는 동일한 속성(필드, 데이터 유형, 제약 조건 등)을 갖는다.

엔티티 삽입의 작동 방식

스키마에 정의된 모든 필드를 포함하는 경우에만 성공적으로 추가됨.
삽입된 엔티티는 기본적으로는 삽입 순서대로 _default 라는 이름의 파티션에 들어감
특정 파티션을 지정하여 삽입할 수도 있음.
dynamil_field 를 사용하는 컬렉션의 경우 스키마에 정의되지 않은 필드를 삽입할 수도 있음.

엔티티 삽입

컬렉션 만들기

최소 하나의 벡터 필드를 가져야 한다는 점을 주의!
벡터 DB 특성상 벡터 필드 없이 메타데이터만으로 이루어진 컬렉션은 존재할 수 없음.

# 데이터베이스 생성

# load env
import dotenv
import os
dotenv.load_dotenv(dotenv.find_dotenv())
from pymilvus import MilvusClient, DataType

milvus_host = os.getenv('MILVUS_HOST')
milvus_port = os.getenv('MILVUS_PORT')
database_name = 'my_database_1'
milvus_username = 'root'    # milvus 기본 계정
milvus_password = 'Milvus'  # milvus 기본 비밀번호


# milvus client 인스턴스 생성
client = MilvusClient(
    uri=f"http://{milvus_host}:{milvus_port}",
    token=f"{milvus_username}:{milvus_password}"
)

# database 생성
client.create_database(
    db_name="test_database"
)

# database 선택
client.use_database(db_name='test_database')

# 스키마 생성
schema = MilvusClient.create_schema(enable_dynamic_field=True)
schema.add_field(field_name="id", datatype=DataType.INT64, is_primary=True, auto_id=True)
schema.add_field(field_name="movie_id", datatype=DataType.VARCHAR, max_length=40)
schema.add_field(field_name="movie_name", datatype=DataType.VARCHAR, max_length=512)
schema.add_field(field_name="movie_desc", datatype=DataType.VARCHAR, max_length=4096)
schema.add_field(field_name="movie_desc_vec", datatype=DataType.FLOAT_VECTOR, dim=4)

# 인덱스 생성
index_params = client.prepare_index_params()
index_params.add_index(field_name="id", index_type="AUTOINDEX")
index_params.add_index(field_name="movie_id", index_type="AUTOINDEX")
index_params.add_index(field_name="movie_name", index_type="AUTOINDEX")
index_params.add_index(field_name="movie_desc", index_type="AUTOINDEX")
index_params.add_index(field_name="movie_desc_vec", index_type="AUTOINDEX", metric_type="COSINE")

# 컬렉션 만들기
client.create_collection(
    collection_name="movie_info",
    schema=schema,
    index_params=index_params,
)

# 컬렉션 정보 확인
res = client.describe_collection(collection_name="movie_info")
print(res)

# Output
{
    "collection_name": "movie_info",
    "auto_id": True,
	...
}

엔티티 삽입

client.insert 명령어를 통해 데이터 삽입 가능.
삽입 작업시 아래 두 가지 파라미터 지정 필요.
collection : 데이터를 삽입할 컬렉션 이름.
data : 삽입할 데이터. 리스트 형식으로 구축.

# 데이터 삽입

import dotenv
import os
dotenv.load_dotenv(dotenv.find_dotenv())
from pymilvus import MilvusClient, DataType

milvus_host = os.getenv('MILVUS_HOST')
milvus_port = os.getenv('MILVUS_PORT')
database_name = 'test_database'
collection_name = 'movie_info'
milvus_username = 'root'    # milvus 기본 계정
milvus_password = 'Milvus'  # milvus 기본 비밀번호


# milvus client 인스턴스 생성
client = MilvusClient(
    uri=f"http://{milvus_host}:{milvus_port}",
    token=f"{milvus_username}:{milvus_password}"
)

# database 선택
client.use_database(db_name=database_name)

# data
data = [
    {
        'movie_id':'1532',
        'movie_name':'대부2',
        'movie_desc':'시칠리아 콜레오네 출신인 비토 안돌리니는 마을을...',
        'movie_desc_vec':[0.5, 0.1, 0.3, 0.2]
    },
    {
        'movie_id':'253',
        'movie_name':'토이스토리',
        'movie_desc':'6살 짜리 소년 앤디가 갖고 있는 인형들 중 우디는...',
        'movie_desc_vec':[0.5, 0.1, 0.3, 0.2]
    },
    {
        'movie_id':'12',
        'movie_name':'기생충',
        'movie_desc':'직업도 없이 허름한 반지하에 사는 기택 가족에게...',
        'movie_desc_vec':[0.5, 0.1, 0.3, 0.2]
    }
]

# 데이터 삽입
res = client.insert(
    collection_name=collection_name,
    data=data
)

# Outpu
print(res)

>> {
>> 	'insert_count': 3,
>> 	'ids': [458358507460986037, 458358507460986038, 458358507460986039],
>> 	'cost': 0
>> }

엔티티 삽입 결과 UI 에서 조회하기

Milvus Web UI - Data 메뉴에서 간단하게 데이터의 개수와 컬렉션 속성 등 확인 가능

Attu에서는 컬렉션 속성, 데이터 개수 뿐 아니라 엔티티(즉, 데이터) 자체도 조회 가능

엔티티 업서트 (Upsert)

업서트(Upsert)

업서트의 개념

Upsert : Update + Insert 로, 업데이트와 삽입을 결합한 작업.
대상 컬렉션에 삽입하려는 기본키가 존재하는지에 따라 Insert, Update가 선택적으로 수행됨.
엔티티 삽입을 할 때, 삽입을 해야 하는지, 업데이트를 해야 하는지 부정확할 때 사용

업서트 작동 방식

동일한 기본키 존재시 -> Update 작업 : 신규 엔티티 생성 후 기본키가 겹치는 기존 엔티티 삭제
동일한 기본키 없다면 -> Insert 작업 수행
기본키가 AutoId 면, 새로 Insert 된 기본키로 대체됨.
기본키가 AutoId가 아니면, 기본키는 그대로 동일함.

Upsert 수행

client.upsert() 메서드를 사용해 수행

# client 인스턴스 생성 부분 생략

database_name = 'test_database'
collection_name = 'movie_info'

# database 선택
client.use_database(db_name=database_name)

data = [
    {
        'id':458358507460986037,  # 이미 존재하는 id
        'movie_id':'1532',
        'movie_name':'Godfather Part2',    # 대부2 -> Godfather Part2 로 변경
        'movie_desc':'시칠리아 콜레오네 출신인 비토 안돌리니는 마을을...',
        'movie_desc_vec':[0.5, 0.1, 0.3, 0.2]
    },
    {
        'id':None,
        'movie_id':'9975',
        'movie_name':'시스터액트 2',
        'movie_desc':'라스베가스의 최고의 인기 가수가 된 들로리스에게...',
        'movie_desc_vec':[0.2, 0.5, 0.9, 0.8]
    }
]

res = client.upsert(
    collection_name=collection_name,
    data=data
)

Attu 에서 조회해보면

엔티티 삭제

엔티티 삭제 방법

엔티티를 삭제할 때에는 삭제 대상을 먼저 잡아야 함.
(1) 조건 필터링을 이용해 삭제할 엔티티를 포착하거나
(2) 기본 키를 필터링해 삭제할 엔티티를 포착할 수 있음.

조건 필터로 엔티티 삭제하기

client.delete() 메서드를 통해 엔티티를 삭제할 수 있음.
filter= 파라미터를 통해 삭제한 엔티티를 필터링할 수 있음.

# client 인스턴스 생성 부분 생략
database_name = 'test_database'
collection_name = 'movie_info'

# database 선택
client.use_database(db_name=database_name)

# 엔티티 삭제
res = client.delete(
    collection_name=collection_name,
    filter="movie_name in ['기생충', 'Godfather Part2']"
)

Attu 를 통해 조회시 삭제된 것을 확인할 수 있음.

기본 키 필터로 엔티티 삭제하기

client.delete() 메서드를 통해 엔티티를 삭제할 수 있음.
ids= 파라미터로 삭제할 기본키를 지정할 수 있음.

# 기본키 필터로 엔티티 삭제
# client 인스턴스 생성 부분 생략
database_name = 'test_database'
collection_name = 'movie_info'

# database 선택
client.use_database(db_name=database_name)

# 엔티티 삭제
res = client.delete(
    collection_name=collection_name,
    ids=[458358507460986038]
)

Attu 를 통해 조회시 삭제된 것을 확인할 수 있음.

파티션에서 엔티티 삭제

특정 파티션에 저장된 엔티티를 삭제할 때에는 partition_name 파라미터를 사용

res = client.delete(
    collection_name="quick_setup",
    ids=[18, 19],
    partition_name="partitionA"
)

Reference

https://milvus.io/docs/ko/insert-update-delete.md
https://milvus.io/docs/ko/upsert-entities.md
https://milvus.io/docs/ko/delete-entities.md

Twitter Facebook LinkedIn

[Milvus] 7. Milvus 엔티티 삽입, 업데이트(업서트), 삭제

Jongya

엔티티 삽입

엔티티

엔티티 삽입의 작동 방식

엔티티 삽입

컬렉션 만들기

엔티티 삽입

엔티티 삽입 결과 UI 에서 조회하기

엔티티 업서트 (Upsert)

업서트(Upsert)

업서트의 개념

업서트 작동 방식

Upsert 수행

엔티티 삭제

엔티티 삭제 방법

조건 필터로 엔티티 삭제하기

기본 키 필터로 엔티티 삭제하기

파티션에서 엔티티 삭제

Reference

Comments

You May Also Enjoy

[Milvus] 6. Milvus 스키마와 데이터 필드

[Milvus] 5. Milvus 컬렉션과 데이터베이스

[Milvus] 4. Milvus 아키텍처

[Milvus] 3. Milvus SDK 설치