Беҙ Һомайҙы эшләгәндә, ChatGPT кеүек ҙур тел моделдәренә(LLM) таяндыҡ. Улар интернеттан бик күп мәғлүмәт белә һәм башҡорт телендә һөйләшеүҙе дауам итә ала. Ләкин бер проблема бар. ChatGPT донъя кимәлендәге мәҙәниәтте яҡшы белә, әммә башҡорт тарихы, әҙәбиәте һәм йолалары тураһында интернетта мәғлүмәт бик аҙ. Унан популяр блогер тураһында һораһаң – һөйләр. Башҡорт шағиры тураһында һораһаң – яҡ 🤷‍♂️ Быны нисек хәл итергә? RAG (Retrieval-Augmented Generation) тигән технология бар. Ябай һүҙҙәр менән әйткәндә, беҙ колонкаға китаптар һәм документтар китапханаһына инеү мөмкинлеген бирәбеҙ. Һеҙ һорау биргәндә, система тәүҙә был материалдарҙан яуап эҙләй, ә һуңынан табылғанға таянып, нимәне ҡайһы китаптан эҙләргә белгән аҡыллы китапханасы кеүек, яуап бирә. Һомай ҙа был технологияны ҡуллана белә! 🎉 Ләкин беҙгә һеҙҙең ярҙам кәрәк 📚 Китаптар табыу – проблема түгел. Китап төрлө телдә була ала: башҡорт, урыҫ, инглиз – иң мөһиме, модель уны аңлаһын. Ә бына уларҙы эшкәртеү, әҙерләү – ресурстар талап итә. 1. Кеше ҡулдары Китаптарҙы (ғәҙәттә PDF), структураһын һаҡлап, логик өлөштәргә бүлергә кәрәк. LLM китаптағы структураны аңлай, ләкин бөтәһен дә яңынан тикшереп, дөрөҫ итеп эшләп ҡуйыр өсөн кеше кәрәк. Теләүселәрҙе өйрәтербеҙ – был ҡатмарлы эш түгел! 2. Индексацияға аҡса Мәғлүмәттәрҙе әҙерләгәндән һуң, уларҙы системаға эшкәртеп өҫтәр кәрәк. Был эш сығым талап итә, һәм был операцияны яңы материалдар өҫтәгән һайын эшләр кәрәк 💪 Проектҡа нисек ярҙам итергә? Комментарийҙарҙа нимә менән ярҙам итә алыуығыҙҙы яҙығыҙ: «Документтар менән эшләргә әҙермен» – китаптар әҙерләүгә ваҡыт бүлә алғандар өсөн «Финанс яҡтан ярҙам итә алам» – мәғлүмәттәрҙе индексациялауға ярҙам итергә әҙер булғандар өсөн Беҙ һеҙгә шәхсән яҙырбыҙ. PS Документтар менән эшләү өсөн айырым эш төркөмө булдырырбыҙ.