以非对称 Bi-Encoder 的 SGPT 为例，其语义向量检索代码如下：

import torch
from transformers import AutoModel, AutoTokenizer
from scipy.spatial.distance import cosine

# Get our models - The package will take care of downloading the models automatically
# For best performance: Muennighoff/SGPT-5.8B-weightedmean-msmarco-specb-bitfit
tokenizer = AutoTokenizer.from_pretrained("Muennighoff/SGPT-125M-weightedmean-msmarco-specb-bitfit")
model = AutoModel.from_pretrained("Muennighoff/SGPT-125M-weightedmean-msmarco-specb-bitfit")
# Deactivate Dropout (There is no dropout in the above models so it makes no difference here but other SGPT models may have dropout)
model.eval()

queries = [
    "I'm searching for a planet not too far from Earth.",
]

docs = [
    "Neptune is the eighth and farthest-known Solar planet from the Sun. In the Solar System, it is the fourth-largest planet by diameter, the third-most-massive planet, and the densest giant planet. It is 17 times the mass of Earth, slightly more massive than its near-twin Uranus.",
    "TRAPPIST-1d, also designated as 2MASS J23062928-0502285 d, is a small exoplanet (about 30% the mass of the earth), which orbits on the inner edge of the habitable zone of the ultracool dwarf star TRAPPIST-1 approximately 40 light-years (12.1 parsecs, or nearly 3.7336×1014 km) away from Earth in the constellation of Aquarius.",
    "A harsh desert world orbiting twin suns in the galaxy’s Outer Rim, Tatooine is a lawless place ruled by Hutt gangsters. Many settlers scratch out a living on moisture farms, while spaceport cities such as Mos Eisley and Mos Espa serve as home base for smugglers, criminals, and other rogues.",
]

SPECB_QUE_BOS = tokenizer.encode("[", add_special_tokens=False)[0]
SPECB_QUE_EOS = tokenizer.encode("]", add_special_tokens=False)[0]

SPECB_DOC_BOS = tokenizer.encode("{", add_special_tokens=False)[0]
SPECB_DOC_EOS = tokenizer.encode("}", add_special_tokens=False)[0]

def tokenize_with_specb(texts, is_query):
    # Tokenize without padding
    batch_tokens = tokenizer(texts, padding=False, truncation=True)   
    # Add special brackets & pay attention to them
    for seq, att in zip(batch_tokens["input_ids"], batch_tokens["attention_mask"]):
        if is_query:
            seq.insert(0, SPECB_QUE_BOS)
            seq.append(SPECB_QUE_EOS)
        else:
            seq.insert(0, SPECB_DOC_BOS)
            seq.append(SPECB_DOC_EOS)
        att.insert(0, 1)
        att.append(1)
    # Add padding
    batch_tokens = tokenizer.pad(batch_tokens, padding=True, return_tensors="pt")
    return batch_tokens

def get_weightedmean_embedding(batch_tokens, model):
    # Get the embeddings
    with torch.no_grad():
        # Get hidden state of shape [bs, seq_len, hid_dim]
        last_hidden_state = model(**batch_tokens, output_hidden_states=True, return_dict=True).last_hidden_state

    # Get weights of shape [bs, seq_len, hid_dim]
    weights = (
        torch.arange(start=1, end=last_hidden_state.shape[1] + 1)
        .unsqueeze(0)
        .unsqueeze(-1)
        .expand(last_hidden_state.size())
        .float().to(last_hidden_state.device)
    )

    # Get attn mask of shape [bs, seq_len, hid_dim]
    input_mask_expanded = (
        batch_tokens["attention_mask"]
        .unsqueeze(-1)
        .expand(last_hidden_state.size())
        .float()
    )

    # Perform weighted mean pooling across seq_len: bs, seq_len, hidden_dim -> bs, hidden_dim
    sum_embeddings = torch.sum(last_hidden_state * input_mask_expanded * weights, dim=1)
    sum_mask = torch.sum(input_mask_expanded * weights, dim=1)

    embeddings = sum_embeddings / sum_mask

    return embeddings

query_embeddings = get_weightedmean_embedding(tokenize_with_specb(queries, is_query=True), model)
doc_embeddings = get_weightedmean_embedding(tokenize_with_specb(docs, is_query=False), model)

# Calculate cosine similarities
# Cosine similarities are in [-1, 1]. Higher means more similar
cosine_sim_0_1 = 1 - cosine(query_embeddings[0], doc_embeddings[0])
cosine_sim_0_2 = 1 - cosine(query_embeddings[0], doc_embeddings[1])
cosine_sim_0_3 = 1 - cosine(query_embeddings[0], doc_embeddings[2])

print("Cosine similarity between \"%s\" and \"%s\" is: %.3f" % (queries[0], docs[0][:20] + "...", cosine_sim_0_1))
print("Cosine similarity between \"%s\" and \"%s\" is: %.3f" % (queries[0], docs[1][:20] + "...", cosine_sim_0_2))
print("Cosine similarity between \"%s\" and \"%s\" is: %.3f" % (queries[0], docs[2][:20] + "...", cosine_sim_0_3))

3.3.3 BGE

BGE (BAAI General Embedding) 是智源开源的中英文语义向量模型，在3亿条中英文关联文本对上训练。是目前线上表现最好的开源向量模型。

from transformers import AutoTokenizer, AutoModel
import torch
# Sentences we want sentence embeddings for
sentences = ["样例数据-1", "样例数据-2"]

# Load model from HuggingFace Hub
tokenizer = AutoTokenizer.from_pretrained('BAAI/bge-large-zh-v1.5')
model = AutoModel.from_pretrained('BAAI/bge-large-zh-v1.5')
model.eval()

# Tokenize sentences
encoded_input = tokenizer(sentences, padding=True, truncation=True, return_tensors='pt')
# for s2p(short query to long passage) retrieval task, add an instruction to query (not add instruction for passages)
# encoded_input = tokenizer([instruction + q for q in queries], padding=True, truncation=True, return_tensors='pt')

# Compute token embeddings
with torch.no_grad():
    model_output = model(**encoded_input)
    # Perform pooling. In this case, cls pooling.
    sentence_embeddings = model_output[0][:, 0]
# normalize embeddings
sentence_embeddings = torch.nn.functional.normalize(sentence_embeddings, p=2, dim=1)
print("Sentence embeddings:", sentence_embeddings)

[Round 1]

问：弹外VVP用户读写Hologres导致JDBC连接数暴涨

答：报错原因：现在VVP Hologres Connector读写Hologres（除了Binlog），默认都使用了JDBC模式，也就是HoloClient，当并发数很高的情况下会占用很多连接。

解决办法：可以加上参数useRpcMode = 'true' 切回至Rpc模式。

git clone https://github.com/microsoft/DeepSpeedExamples.git
cd DeepSpeedExamples/applications/DeepSpeed-Chat
pip install -r requirements.txt

OUTPUT=/path/to/save
ZERO_STAGE=2
if [ "$OUTPUT" == "" ]; then
    OUTPUT=./output
fi
if [ "$ZERO_STAGE" == "" ]; then
    ZERO_STAGE=3
fi
mkdir -p $OUTPUT

deepspeed main.py \
   --data_path /path/to/data \
   --data_split 10,0,0 \
   --model_name_or_path /path/to/chatglm2-6b \
   --per_device_train_batch_size 4 \
   --per_device_eval_batch_size 16 \
   --max_seq_len 2048 \
   --learning_rate 9.65e-7 \
   --weight_decay 0. \
   --num_train_epochs 10  \
   --save_per_epoch 5 \
   --gradient_accumulation_steps 4 \
   --lr_scheduler_type cosine \
   --num_warmup_steps 100 \
   --seed 1234 \
   --gradient_checkpointing \
   --zero_stage $ZERO_STAGE \
   --deepspeed \
   --output_dir $OUTPUT \
   |& tee $OUTPUT/training.log

cd training/step1_supervised_finetuning/
bash training_scripts/langchain_sft.sh

git clone https://github.com/haonan-li/CMMLU.git
cd CMMLU/script

...
    --model_name_or_path /path/to/sft_checkpoint \
...

bash llama2_7b_chat.sh

import re
prompt = '你是一位智能小助手，请根据下面我所提供的相关知识，对我提出的问题进行回答。回答的内容必须包括其定义、特征、应用领域以及相关网页链接等等内容，同时务必满足下方所提的要求！\n 相关知识如下：\n'
for i in range(len(contents)):
    if 'http' in contents[i]:
        prompt += str(i + 1) + '、该知识中包含网页链接!' + '\n' + contents[i] +'。'+ '\n' + '知识中包含的链接如下:' 
        pattern = r'([^：]+)：(https?://\S+?)(?=\s|$)'
        matches = re.findall(pattern, contents[i])
        # 将链接和对应名称内容存储到列表中
        links = [(name.strip(), url) for name, url in matches]
        for name, url in links:
            # print("name",name)
            # print("url",url)
            prompt +=  '\n' + name + ':' + url + '；'+'\n'
        
    else:
        prompt += str(i + 1) + '、' + contents[i] + '\n'
if 'http' in prompt:
    requirement =  '回答的内容要求:若提供的知识中存在“网页链接”，则必须将“网页链接”准确无误的输出。不需要输出知识库以外的网页链接' 
    prompt += '\n' + requirement + '\n' + '\n' +'问题是：1.' + query_text[0] + '？' + '2. 上方提供的知识中可供参考的链接有什么' + '？\n'
else:
    prompt += '\n' +'问题是：' + query_text[0] + '\n'

def process(self, db_res):
    for i, reply in enumerate(db_res):
        prompt = '你是一位智能小助手，请根据下面我提供的一条知识，对我提出的若干问题进行回答。\n 提示:我提供的知识一般是由一个问题和答案通过组成。知识如下:\n'
        contents.append(reply)
        if 'http' in contents[i]:
            prompt += str(1) + '、' +'"'+contents[i] +'"'+'。'+ '\n' 
            prompt += '\n'  +'请根据上方所提供的知识，逐一回答以下几个问题:'+ '\n' +'1. ' + query_text[0] + '？' + '\n'\
                '2. ' + '对于这条知识:"' + contents[i] + '"。' + '这里面有多少个https？' + '\n'\
                    + '3. 请将这几个https及其对应的中文描述内容正确的告诉我，请不要额外自行添加别的内容和网页链接。请用:"中文描述+http"这种范式写出答案。' + '\n' 
        elif '超链接' in contents[i]:
            prompt += str(1) + '、' +'"'+ contents[i] +'"'+'。'+ '\n'
            prompt += '\n' + '\n'  +'请根据上方所提供的知识内容，逐一回答以下几个问题:'+ '\n' +'1. ' + query_text[0] + '？' + '\n'\
            '2. 我提供的知识中有几个超链接？仅告诉我数量，不要人为去创造链接。' + '\n' + '3. 我提供的知识中超链接后原文描述是什么？请求你不要在自行添加别任何的内容和网页链接了！你为什么天天要自己制造链接？' + '\n'\
                + '对于回答问题3，这里我给你一个回答例子供你回答参考:比如知识中有一个超链接描述是:“[写出至OSS]<超链接<1及以上版本支持_1>>”。则你在回答的时候需要将：[写出至OSS]<超链接<1及以上版本支持_1>>完整输出。请记住以上这个只是例子，不是知识中的真实内容。' 
        else:
            prompt += str(i + 1) + '、' + contents[i] +'。'+ '\n'
            prompt += '\n' + '\n'  +'请根据上方所提供的知识内容，回答以下问题:'+ '\n' +'1. ' + query_text[0] + '？' + '\n'

def process(self, db_res):
    contents = []
    for reply in db_res:
        contents.append(reply)

    if len(contents) >=1:
        for i in range(len(contents)):
            if len(contents[i]) < 100:
                prompt = '你是一位智能小助手，请将我提供的内容的原文直接打印出来，不需要你做别的任何解释与分析！\n 内容如下：\n' + contents[i]
            else:
                if 'http' in contents[i]:
                    prompt = '你是一位智能小助手，请针对我提出的问题进行回答。' + '\n'\
                        '为了帮助你更好的解答这个问题，对于该问题，本地的知识库检索到了相关的标准答案。 \n 知识库中的标准答案是如下:\n'
                    prompt += str(i + 1) + '、' + contents[i] + '。\n' + '现在，要求你，结合知识库的标准答案与自身知识对提出的问题:\n' + query+',进行回答。'+\
                        '回答的内容要求如下：1.请控制你回答的内容，紧密的围绕知识库中的标准答案进行回答！\n 2.知识库中涉及网页链接，请将该网页链接正确无误的打印出来！'
                else:
                    prompt = '你是一位智能小助手，请针对我提出的问题进行回答。' + '\n'\
                        '为了帮助你更好的解答这个问题，对于该问题，本地的知识库检索到了相关的标准答案。 \n 知识库中的标准答案是如下:\n'
                    prompt += str(i + 1) + '、' + contents[i] + '。\n' + '现在，要求你，结合知识库的标准答案与自身知识对提出的问题:\n' + query+',进行回答。'+\
                        '回答的内容要求如下：1.请控制你回答的内容，紧密的围绕知识库中的标准答案进行回答！'
    else:
        prompt = '你是一位智能小助手，请根据你自身的知识储备，对我提出的若干问题进行回答。\n' + '\n' + '回答以下问题:' +'\n' + query 

def process(self, db_res):
    contents = []
    for reply in db_res:
        contents.append(reply)

    if len(contents) >=1:
        for i in range(len(contents)):
            if len(contents[i]) < 100:
                prompt = '你是一位智能小助手，请将我提供的内容的原文直接打印出来，不需要你做别的任何解释与分析！\n 内容如下：\n' + contents[i]
            else:
                if '命令' in contents[i]:
                    prompt = '你是一位智能小助手，请针对我提出的问题进行回答。' + '\n'\
                        '为了帮助你更好的解答这个问题，对于该问题，本地的知识库检索到了相关的标准答案。 \n 知识库中的标准答案是如下:\n'

                    prompt += str(i + 1) + '、' + contents[i] + '。\n' + '现在，要求你，结合标准答案与自身知识对提出的问题:\n' + query+',进行回答。'+\
                        '\n回答的内容要求如下：\n1.请控制你回答的内容，请紧密的围绕标准答案进行回答！\n2.知识库中涉及命令行和代码，请将每一行命令行和代码正确无误的打印出来！'
                elif 'http' in contents[i]:
                    prompt = '你是一位智能小助手，请针对我提出的问题进行回答。' + '\n'\
                        '为了帮助你更好的解答这个问题，对于该问题，本地的知识库检索到了相关的标准答案。 \n 知识库中的标准答案是如下:\n'

                    prompt += str(i + 1) + '、' + contents[i] + '。\n' + '请结合标准答案与自身知识对以下提出问题进行回答:\n' + '1.' + query +\
                        '\n2.标准答案中存在网页链接，要求你将该网页链接地址正确无误的打印出来！'
                else:
                    prompt = '你是一位智能小助手，请针对我提出的问题进行回答。' + '\n'\
                        '为了帮助你更好的解答这个问题，对于该问题，本地的知识库检索到了相关的标准答案。 \n 知识库中的标准答案是如下:\n'

                    prompt += str(i + 1) + '、' + contents[i] + '。\n' + '现在，要求你，结合标准答案与自身知识对提出的问题:\n' + query+',进行回答。'+\
                        '\n回答的内容要求如下：\n1.请控制你回答的内容，请紧密的围绕知识库中的标准答案进行回答！'
    else:
        prompt = '你是一位智能小助手，请根据你自身的知识储备，对我提出的若干问题进行回答。\n' + '\n' + '回答以下问题:' +'\n' + query 

import com.aliyun.odps.Instance;
import com.aliyun.odps.LogView;
import com.aliyun.odps.Odps;
import com.aliyun.odps.OdpsException;
import com.aliyun.odps.account.Account;
import com.aliyun.odps.account.AliyunAccount;
import com.aliyun.odps.task.SQLTask;

public class OdpsPriorityDemo {
    public static void main(String[] args) throws OdpsException {
        Account account = new AliyunAccount("accessId","accessKey");
        Odps odps = new Odps(account);
        String odpsUrl = "http://service.odps.aliyun.com/api"; // 公共云URL。
        odps.setEndpoint(odpsUrl);
        odps.setDefaultProject("xxxxxxxxxx");

        SQLTask task = new SQLTask();
        task.setName("adhoc_sql_task_1");
        task.setQuery("select count(*) from aa;");

        Instance instance = odps.instances().create(task, 5); // 5为作业优先级。

        LogView logView = new LogView(odps);
        System.out.println(logView.generateLogView(instance, 24)); // 打印Logview，用于查看Instance执行状态，非必须。

        instance.waitForSuccess(); // 等待Instance执行完成，非必须。
    }
} ”

import json
from websockets.sync.client import connect
with connect("ws://localhost:8081/generate_stream") as websocket: prompt = "What's the capital of Canada?" websocket.send(json.dumps({
        "prompt": prompt,
        "sampling_params": {
                "temperature": 0.9,
                "top_p": 0.9,
                "top_k": 50
            },
        "stopping_criterial":{"max_new_tokens": 100}
}))
while True:
msg = websocket.recv() msg = json.loads(msg) if msg['is_ok']:
if msg['is_finished']: break
print(msg['tokens'][0]["text"], end="", flush=True) print()
    print("-" * 40)