Keras：制作神经网络来查找数字的模数

我是一位经验丰富的 Python 开发人员，但在机器学习方面完全是新手。这是我第一次尝试使用 Keras。你能告诉我我做错了什么吗？

我正在尝试制作一个神经网络，它接受二进制形式的数字，并在除以 7 时输出其模数。（我的目标是执行一个非常简单的任务，只是为了看看一切正常。）

在下面的代码中，我定义了网络并使用 10,000 个随机数对其进行训练。然后我用 500 个随机数进行测试。

由于某种原因，我得到的准确度约为 1/7，这是您期望从完全随机算法获得的准确度，即我的神经网络没有做任何事情。

谁能帮我找出问题所在吗？

import keras.models
import numpy as np
from python_toolbox import random_tools

RADIX = 7

def _get_number(vector):
    return sum(x * 2 ** i for i, x in enumerate(vector))

def _get_mod_result(vector):
    return _get_number(vector) % RADIX

def _number_to_vector(number):
    binary_string = bin(number)[2:]
    if len(binary_string) > 20:
        raise NotImplementedError
    bits = (((0,) * (20 - len(binary_string))) +
            tuple(map(int, binary_string)))[::-1]
    assert len(bits) == 20
    return np.c_[bits]


def get_mod_result_vector(vector):
    return _number_to_vector(_get_mod_result(vector))


def main():
    model = keras.models.Sequential(
        (
            keras.layers.Dense(
                units=20, activation='relu', input_dim=20
            ),
            keras.layers.Dense(
                units=20, activation='relu'
            ),
            keras.layers.Dense(
                units=20, activation='softmax'
            )
        )
    )
    model.compile(optimizer='sgd',
                  loss='categorical_crossentropy',
                  metrics=['accuracy'])

    data = np.random.randint(2, size=(10000, 20))
    labels = np.vstack(map(get_mod_result_vector, data))

    model.fit(data, labels, epochs=10, batch_size=50)
    def predict(number):
        foo = model.predict(_number_to_vector(number))
        return _get_number(tuple(map(round, foo[0])))
    def is_correct_for_number(x):
        return bool(predict(x) == x % RADIX)
    predict(7)
    sample = random_tools.shuffled(range(2 ** 20))[:500]
    print('Total accuracy:')
    print(sum(map(is_correct_for_number, sample)) / len(sample))
    print(f'(Accuracy of random algorithm is {1/RADIX:.2f}')


if __name__ == '__main__':
    main()

这实现了 99.74% 的准确率和 99.69% 的验证准确率。

import tensorflow as tf, numpy as np

def int2bits(i,fill=20): 
    return list(map(int,bin(i)[2:].zfill(fill)))

def bits2int(b):
    return sum(i*2**n for n,i in enumerate(reversed(b)))

# Data. 
I = np.random.randint(0,2**20,size=(250_000,))
X = np.array(list(map(int2bits,I)))
Y = np.array([int2bits(2**i,7) for i in I % 7])

# Test Data. 
It = np.random.randint(0,2**20,size=(10_000,))
Xt = np.array(list(map(int2bits,It)))
Yt = np.array([int2bits(2**i,7) for i in It % 7])

# Model.
model = tf.keras.models.Sequential([
    tf.keras.layers.Dense(1000,'relu'),
    tf.keras.layers.Dense(7,'softmax'), 
])
model.compile('adam','categorical_crossentropy',['accuracy'])

# Train.
model.fit(X,Y,10_000,100,validation_data=(Xt,Yt))

一些要点：

1）你的数据太少了。您对从 0 到 2**20 的点进行统一采样，但只采样了 10,000 个，这仅占模型应该了解的可能向量的 1% 左右。关键是，许多组件（以二进制表示形式）大多固定为 0 或 1，而没有机会了解它们在整体数据中的功能或它们如何与其他组件交互。

2）你需要一个嵌入层，即将空间扩展到一些巨大的更高维度，这样神经元就可以更容易地移动。这使得学习能够更好地洗牌，希望找到您正在寻找的算法。单个 Dense(1000) 似乎可以工作。

3) 运行 10_000 批（只是为了最大限度地提高 CPU 使用率）。跑了 100 个 epoch。在训练中包含我的validation_data，这样我就可以看到验证集在每个时期的表现如何（这不会影响训练，只是可以更容易地看到模型在训练时是否表现良好）。

谢谢。 :-)