在 AI 语境中，如何翻译 token 这个词更恰当？ - 知乎
龙虾火了之后，一个词的翻译终于被官方定下来了： token，中文叫 词元。 这个翻译其实并不新。早在 2021 年，国内 AI 圈就试图统一术语，将 token 译为「词元」 [1]，但没被广泛接受。 直到最近，「词 …
本地模型部署划算还是付费买 Token 划算？ - 知乎
当然是买token。 token贵是因为国外的贵。 国内提供商的又不贵。尤其是 coding plan 基本就国外二十分之一的价格，哪怕养个龙虾，成本也没多少。 你都 本地部署 了，本地部署的哪个能打得过 国内模 …
vllm内部怎么根据max_model_len自动计算max_num_batched_tokens？
4. 内存使用效率：模型需要在保证性能的同时，尽量减少内存的使用。 max_num_batched_tokens 的计算可能不是简单的数学公式，而是模型内部通过一系列测试和评估来确定的最佳值。 这个值可能会 …
阿里云通义千问击穿大模型底价，两百万tokens只需一元，有哪些信息 …
两百万tokens只要一元，我都怀疑电费够不够…. 但上次DeepSeekV2发布后，他们作者说V2那价格还有得赚，那说明模型token的成本最近的确降得很厉害。 一方面是英伟达等基础硬件厂商给力，另一方 …
NLP领域中的token和tokenization到底指的是什么？ - 知乎
Tokenizer是将文本切分成多个tokens的工具或算法。 它负责将原始文本分割成tokens 序列。 在NLP中，有多种不同类型的tokenizer，每种tokenizer都有其特定的应用场景和适用范围。 基于字符 …
大模型的token究竟是什么？如何通俗易懂地解释？ - 知乎
说实话，煮啵第一次看到token这个词，还以为是令牌，哈哈哈哈。 以为就是那种游乐场的代币，投进去才能玩的那种。 后来发现不是，但也没人好好解释过，就这么模模糊糊地用着。 直到有一次煮啵跑 …
使用Deepseek需要付费的吗？ - 知乎
使用Deepseek如何收费 官方赠送10元使用量 如果用完了也不用担心，因为是开源大模型，各大厂商都自行部署了大模型，并提供API调用服务，同样新用户注册，赠送很多tokens可用。 例如： 1、硅基流 …
ChatGPT如何计算token数？ - 知乎
OpenAI 使用的分词方法，特别是针对汉字，的确有时会导致一个汉字被计算为多个 tokens。 这不是将汉字拆成 Unicode 码来处理，而是因为 GPT-3 使用的 Byte-Pair Encoding (BPE) 分词方法会将某些字 …
没有class tokens 的分类 transformer 如何做可解释？ - 知乎
Jan 19, 2025 · 没有class tokens 的分类 transformer 如何做可解释？ 通常 Transformer 做分类任务都需要包含 cls tokens，并将cls tokens 接上mlp去做分类。 然而，使用 global av… 显示全部 关注者 11 …
火山引擎这个月有数据协作计划，每款模型每天送 50 万 tokens | 指 …
第一次开通单个模型会给 50 万 tokens（企业账号 500 万），然后当天使用的 tokens 第二天会返还等额的资源包。 模型余量和资源包情况可以在费用中心 - 资源包查看。 活动持续到这个月底，如果用于 …