tokenize
网络释义：符将一个字符串标记化；切分词；令牌化
网络释义
1.符将一个字符串标记化这种技术,例如strtok(),它基于一组字符分隔符将一个字符串标记化(tokenize)(译注:即将str分解为由字符串depmiterSet中的字符 …
2.切分词 ... ) word entry segmentation of Chinese 词条切分 ) tokenize 切分词 ) Word segmentation 语词切分 ...
3.令牌化 token ： 令牌 tokenize ： 令牌化 tokenizer ： 令牌解析器 ...
4.变造2. 变造 (Tokenize)。在保持资料格式的情况下对资料进行处理，产生另外一组不同的资料；仅适用於数字或英文，亦可反解回 …
例句释义:,符将一个字符串标记化,切分词,令牌化1.In the draw method, check to see whether any bytes are available to read; if there are, tokenize them into an array.通过draw方法，我们可以检查是否有字节可供读取；如果有，我们可以将它们保存到一个数组中。
2.The new tokenize function performs the opposite action, disaggregating a string with a separator to mark the boundaries.新增的tokenize函数执行相反的操作，用分隔符标记字符串之间的边界。
3.Specify the depmiters that the transformation uses to tokenize column values.指定转换用来标记列值的分隔符。
4.IndexWriter accepts an analyzer used to tokenize data before it is indexed.在编制索引前，IndexWriter接收用于标记数据的分析程序。
5.These differ in the way they tokenize the text and apply filters.它们在标记文本和应用过滤器的方式上有所区别。
6.Tokenize Configuration, which provides a repeatable way of injecting variable information into configuration filesTokenizeConfiguration，这个模式提供一种可重复的把可变信息注入配置文件中的方法