o aKh1@sddlmZmZmZmZddlmZddlZddlmZddl Z ddl Z ddl Z ddl Z ddl mZmZmZmZmZmZddlmZmZddlZddlmZddlZddlZddlmZddlZdd l m!Z!dd l"m#Z#dd l$m%Z%m&Z&ddl Z ddl'Z'dd l(m(Z(ddl)Z)dd l*m+Z+e)j,dde+dddZ-e-.dZ/eZ0ee_1eedZ2e 2dZ3dZ4ddZ5ddZ6ddZ7ddZ8dd Z9d!d"Z:d#d$Z;d%d&Ze0?d*d+efd,d-Z@e0?d.d/efd0d1ZAdS)2) APIRouter HTTPExceptionRequestDepends)RedirectResponseN)OpenAI) ChatMessage SpeechText QuizMessageLineUser MedicineText UserQuestion)loggeropenai_api_key)TfidfVectorizer) BeautifulSoup) webdriver)Options)urljoinurlparse)datetime)Settings localhosti@rest)chroma_api_impl)hostportsettings excel_honbun)api_keys3z$shanri-ai-chatbot-for-text-to-speechcs8dd|D}tjjjd|d}|jdjj}|S)NcSsg|] }|dr|qS)content)get).0msgr%-/home/air/sanwanet/gpt-api/chatbot_router4.py .szask_openai..gpt-4omodelmessagesr)openaichat completionscreatechoicesmessager!strip)r+valid_messagesresponseanswerr%r%r& ask_openai-sr6cstjjjdd|d}d|dtd}t|d}|D]}||q Wdn1s2wY|dtd}t |t |t |dt d |S) Nztts-1nova)r*voiceinputz tmp/audio--z.mp3wbzhttps://z.s3.amazonaws.com/) clientaudiospeechr/timeopen iter_byteswrite s3_client upload_file bucket_nameosremove)textuser_idr4 audio_filefchunks3_keyr%r%r&synthesize_speech7s     rNcCs0t}|d|d|dtj|dS)Nz --headlessz --disable-gpuz --no-sandboxoptions)r add_argumentrChromerOr%r%r& init_driverGs     rScCst|jt|jkS)N)rnetloc)base_urltest_urlr%r%r&is_same_domainNsrWc st}d}zY|D]O}z1td|||t|jd}|d}d}|D]}||7}q'|d|d|d7}Wq tyX}ztd|d |WYd }~q d }~ww|W|S|w) uXurl_list에 있는 각 페이지의
태그 HTML만 크롤링 (내부 링크 X)u 🟢 크롤링 중: z html.parsersectionz  u [에러] z: N) rSprintr"r page_sourcefind_allprettify Exceptionquit) url_listdriverall_htmlurlsoupsections page_htmlrYer%r%r&fetch_all_pages_with_seleniumQs(    ricsHtjjd|d}|jdj}tj|gdd}|dd}d|}|S)Nztext-embedding-3-small)r*r9r)query_embeddings n_results documentsrZ)r< embeddingsr/data embedding collectionqueryjoin)questionr4query_embeddingresultsretrieved_docs excel_contextr%r%r&search_excel_contextns   rycsdddddddddddddddddddd ddd ddd ddd ddd dddddddddddddddddddddddddddddddddddd|dg}tjjjd|d}|jdjjS)u#homepage_url을 선택하는 함수systemu質問を分析し、回答を作成する際に必要な情報を持つURLを返す必要があります。質問を見てURLを選択してください。roler!uT最も情報がある可能性が高いURLを配列で返す必要があります。u関数の戻り値のように、配列のみを返す必要があります。3つ以内のURLをリターンしてください。 例) ['https://sanwanet.co.jp/unique/history','https://sanwanet.co.jp/construction/government']uL三和電業株式会社 会社概要 : https://sanwanet.co.jp/company/sanwauj三和プラントエンジニアリング株式会社 会社概要 : https://sanwanet.co.jp/company/plantu]三和エコ&エナジー株式会社 会社概要 : https://sanwanet.co.jp/company/ecoenergyuL三和空調株式会社 会社概要 : https://sanwanet.co.jp/company/kuchou三和科技（蘇州）有限公司 & 三和工程設備（蘇州）有限公司 & 三和技研（蘇州）有限公司 会社概要 : https://sanwanet.co.jp/company/yugenkoushiuF三和電業グループ 沿革: https://sanwanet.co.jp/unique/historyuP三和電業グループ 技術紹介 : https://sanwanet.co.jp/unique/technologyu<企業の社会的責任 : https://sanwanet.co.jp/unique/csruF三和会(会社の同好会) : https://sanwanet.co.jp/unique/sanwakaiuH施工事例(官公庁) : https://sanwanet.co.jp/construction/governmentuB施工事例(工場) : https://sanwanet.co.jp/construction/factoryuK施工事例(研究施設) : https://sanwanet.co.jp/construction/laboratoryua施工事例(病院・特養施設・福祉施設) : https://sanwanet.co.jp/construction/hospitaluI施工事例(一般ビル) : https://sanwanet.co.jp/construction/buildinguF施工事例(中国物件) : https://sanwanet.co.jp/construction/chinauM施工事例(特別高圧) : https://sanwanet.co.jp/construction/high-voltageuC施工事例(太陽光) : https://sanwanet.co.jp/construction/solaruNピックアッププロジェクト : https://sanwanet.co.jp/category/projectu-採用情報 : https://sanwanet.co.jp/recruituseru 質問 : r(r)r)r<r-r.r/r0r1r!)rtr+r4r%r%r&choose_hompage_urls< r~csl|ds d|}ttdt|IdH}t|}ttdttdt|IdH}t|ttdttdt|IdH}td|ttd d d d d d d d dd d dd d dd g}|r{| d d|d |r| d d|d | d|d ttdt j j j d|d}ttd|jdjj}td||S)unGPT-4o를 사용해 https://sanwanet.co.jp/ 크롤링 데이터 + 웹 검색 정보를 포함한 답변 생성u 御社のuurl 선택 시작Nuurl 선택 끝u크롤링시작u 크롤링끝uExcel 검색 시작z excel_data : uExcel 검색 끝rzuxあなたは「三和電業グループ」の会社紹介および就職希望者向けのチャットボットです。r{uK以下のルールに従って、ユーザーと会話してください。u1.会話スタイル：SNS上のやり取りのように、親しみやすく、1回の返信は300文字以内に収めてください。u3.情報の制限：返答に使用できるのは、提供されたURLとExcelファイルに含まれる情報のみとします。その他の情報は使用しないでください。u]この制約のもと、ユーザーに寄り添いながら会話を進めてください。u企業サイト情報 u0Excelファイルに記載されている情報 r}u대답생성 시작r(r)u대답생성 종료ru초기대답 : ) startswithr[rnowr~ast literal_evalriryappendr<r-r.r/r0r1r!)rt url_list_strra website_data excel_datar+r4initial_answerr%r%r&generate_gpt_answersF     rz/healthcs ddiS)Nstatushealthyr%r%r%r%r& health_checksrz/sanwa/gpt/speech speech_textcs6|j}|j}|stdddt||IdH}d|iS)NuText is required。 status_codedetailrJ)rH chat_tokenrrN)rrHrrJr%r%r&r>s r>z/sanwa/gpt/ask_question user_questioncs2|j}|stdddt|IdH}d|iS)NrzQuestion is requiredrr5)rtr2rr)r question_textgenerated_answerr%r%r& ask_question s   r)Bfastapirrrrfastapi.responsesrr,rreboto3rFr?schemasrr r r r r configrrjsonsklearn.feature_extraction.textrloggingrequestsbs4rnumpynpseleniumr!selenium.webdriver.chrome.optionsr urllib.parserrrrchromadbchromadb.configr HttpClient chroma_clientget_collectionrqrouterrr<rCrEr6rNrSrWriryr~rr"rpostr>rr%r%r%r&sb             #&B