Сконфигурировать загрузку документов из облака для векторизации
Мы делаем LLM-agentiс приложение, котрое должно будет оперировать с обовляемой базой данных состоящей из большого количества документов и текста.
На текущий момент мы реализовали схему работу ИИ с единичным документом хранящимся локально и дабы реализовать задуманное нам нужна помощь с конфигурацией и доработкой компонентов загрузки, подготовки документов для векторизации и сам процесс векторизации, а именно:
- конфигурация модуля загрузки файлов с Google Drive в память приложения
- конфигурация модуля текстового разделитя и интеграция в приложение
- конфигурация LLM-embeddings, vector store и Astra DB для процессинга данных и интеграция в пайплайн приложения
Стэк: Python, Bash, LangChain, LangFlow
Есть в пайплайне другие релевантные задачки, поэтому успешному кандидату будет предложена другая релевантная задача.
Для рассмотрения заявки нужно одним двумя предложениям описать свой релевентный опыт.
Условия работы: согласование требований, критерий приёмки, оценка, реализация, приёмка, оплата, отзывы.
Спасибо за уделённое время!