baofeidyz's blog

发表于

封面图

在不少 Prompt Engineering 教程中，经常会看到类似的技巧：

  • 「让模型只输出一个 Emoji。」
  • 「用 Emoji 代替 Yes/No，可以减少 Token。」
  • 「要求模型输出单个 Token，提高推理效率。」

这些说法听起来很合理，但实际上建立在一个错误前提之上：

认为一个 Emoji 等于一个 Token。

事实上，Token 是 Tokenizer 的产物，而 Emoji 是 Unicode 的产物，它们属于完全不同的层次。

理解这一点，需要先理清 Unicode、UTF、Emoji、Grapheme Cluster 与 Tokenizer 的关系。

阅读全文 »

发表于 更新于

封面

很多人刚接触大模型都会有一个疑问：

模型权重不是 .pt、.pth 吗？为什么现在又冒出来 .safetensors、.gguf、.engine？

为什么同一个模型，必须使用不同的组件（Transformers、vLLM、Ollama、llama.cpp）来启动？底层不都是 PyTorch 吗？

本文将从 训练 → 导出 → 推理 的完整生命周期，带你彻底理解这些问题。

阅读全文 »

发表于 更新于 分类于

概述

PageIndex是无向量模型依赖的RAG解决方案，通过推理模型将PDF或者markdown文档转换为JSON文件来实现检索

基本信息

  1. 官网地址：https://pageindex.ai
  2. GitHub地址：https://github.com/VectifyAI

适用场景

  1. 基于特定资料库的问答

注意事项

1. 部分开源

PDF/markdown转换为JSON有做开源（https://github.com/VectifyAI/PageIndex），但核心服务是闭源的，只能通过服务调用（sdk/http rest api/mcp http/mcp stdio）完成。
如果需要私有化部署需要单独联系采购

MCP没有支持文档转换

基于http的mcp不支持PDF/markdown转换为JSON。需要自己在后台页面中上传，操作较为繁琐

PDF/markdown转换为JSON效果不稳定

我上传了一份20+页的PDF，在后台看到的结果中只有2页。
因为无法直接上传我通过PageIndex生成好的json文件，只能使用云端默认的模型

评价

就我自己本身的应用场景来看，目前基于向量模型的方案没有遇到瓶颈，暂不考虑PageIndex

另外PageIndex这个服务只是作者引流的一个开源仓库，实际服务与这个开源仓库关系不大

发表于 更新于 分类于

本地依赖

python + uv

安装步骤

  1. 从GitHub仓库中clone源码到本地
1
git clone https://github.com/oceanbase/awesome-oceanbase-mcp.git
  1. 使用uv安装python依赖
1
2
3
4
cd awesome-oceanbase-mcp && \
uv venv && \
source .venv/bin/activate && \
uv pip install .
  1. 使用claude命令添加MCP Server
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
claude mcp add-json oceanbase '{
"type":"stdio",
"command": "uv",
"args": [
 "--directory", 
 "你的本地路径/awesome-oceanbase-mcp/src/oceanbase_mcp_server",
 "run",
 "oceanbase_mcp_server"
 ],
"env": {
 "OB_HOST": "***",
 "OB_PORT": "***",
 "OB_USER": "***",
 "OB_PASSWORD": "***",
 "OB_DATABASE": "***"
 }
}'

验证方法

1
claude mcp list

没有报错信息或者提示Connected即为成功

注意事项

  1. 整个仓库中不止有oceanbase数据库的mcp server，所以你在写本地路径时一定要仔细看。
  2. 如果claude报错了，你可以选择让claude自己修复
  3. 一定要有"type":"stdio"的声明

FAQ

暂无

参考资料

发表于 更新于 分类于

前提

需要安装好OpenClaw和Claude，并且配置相应的模型或者账号权限

问题集锦

1. OpenClaw一直提示需要/login

原因

我本地使用的Claude是使用litellm本地服务启动的，我有设置环境变量，是通过~/.zshrc文件维护。
OpenClaw一直报这个错，就是因为ta没有使用我的~/.zshrc文件

解决方案

告诉OpenClaw尝试先执行source ~/.zshrc再调用Claude

2. OpenClaw会因为Claude超时而失败

原因

OpenClaw在调用Claude时，不会使用Claude的交互模式，一般都是直接运行Claude -p "具体任务"，而OpenClaw默认等待时间是60s左右，当你Claude超过这个时间响应时，就会导致OpenClaw因Claude超时失败

解决方案

让OpenClaw异步调用Claude，把Claude输出的日志放到一个临时文件中，然后定时轮询这个临时文件查看日志即可

发表于 更新于 分类于

感觉3月没有听到啥好听的新歌，选来选去还是把封面给王力宏的《在梅边》，后面的rap很不错。
今天才听到路虎3月发的新歌《流行歌手》，好听！

阅读全文 »

发表于 更新于

最近做了一个小需求，需要解析js文件，获取一些配置项信息，并转存为properteis的格式。
目前技术栈是JDK15，并且因为这个版本踩了不少坑，记录一下。

阅读全文 »
0%