我正在尝试了解有关 Tensorflowjs 的更多信息,但遗憾的是我无法将 Keras NLP 模型转换为 Tensorflowjs。
这就是我想要转换的:
from keras.models import load_model
from keras.preprocessing.sequence import pad_sequences
import pickle
list_classes = ["toxic", "severe_toxic", "obscene", "threat", "insult", "identity_hate"]
model = load_model('Keras_Model/m.hdf5')
with open('Keras_Model/tokenizer.pkl', 'rb') as handler:
tokenizer = pickle.load(handler)
list_sentences_train = ["I need help Stackoverflow"]
list_tokenized_train = tokenizer.texts_to_sequences(list_sentences_train)
maxlen = 200
X_t = pad_sequences(list_tokenized_train, maxlen=maxlen)
pred = model.predict(X_t)[0]
Tensorflowjs 端:
import tf = require('@tensorflow/tfjs-node')
async function processModel(){
const model = await tf.loadLayersModel('Server_Model/model.json');
}
如何让 Tokenizer 运行并做出正确的预测?
实际上,我在 Android 上对文本进行分类时遇到了同样的问题。我已经准备好使用模型 ( tflite ),但是如何像 Keras 在 Python 中那样对句子进行标记。
我找到了一个我已经讨论过的简单解决方案here https://link.medium.com/SaBG73mXZW(适用于安卓)。
简单的想法是将keras.preprocessing.text.Tokenizer
词汇表到 JSON 文件。该 JSON 文件可以用以下任何一种方式解析:
包括 JavaScript 在内的编程语言。
Tokenizer 持有一个名为word_index
.
index = tokenizer.word_index
word_index 对象是一个字典,可以转换为 JSON,例如:
import json
with open( 'word_dict.json' , 'w' ) as file:
json.dump( tokenizer.word_index , file )
JSON 文件包含单词和索引对。您可以像本文中提到的那样用 JavaScript 解析它link https://stackoverflow.com/a/4935684/10878733.
本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系:hwhale#tublm.com(使用前将#替换为@)