Token 可视化

GPT BPE 分词可视化

支持的操作

  • 复制结果
  • 清空内容
  • 加载示例

示例输入

Hello, world! 你好世界!