Updates
(2019.8.14 19:53)吃饭前用这个方法实战了一下,吃完回来一看好像不太行:跑完一组参数之后,到跑下一组参数时好像没有释放之占用的 GPU,于是 notebook 上的结果,后面好几条都报错说 cuda out of memory。
现在改成:将 notebook 中的代码写在一个 python 文件中,然后用命令行运行这个文件,比如:
# autorun.py
import os
# print(os.getcwd())
over = [ # 之前手工改参数跑完的参数组合
[0, 1, 1], [0, 1, 2], [0, 1, 3],
[0, 2, 1],
[1, 0, 1],
[1, 2, 1]
]
for alpha in range(1, 4, 1):
for beta in range(3):
for gamma in range(3):
if [alpha, beta, gamma] in over:
continue
os.system(f'python main.py --alpha {alpha} --beta {beta} --gamma {gamma}')
这里的 main.py
是训练用的主文件。改在 py 里用 os.system
跑,希望跑一组参数之后完会自动释放资源再跑下一组(?)
Notes
有多组参数组合需要尝试,不想每组参数都人工修改 python 代码,再在 notebook 中 %run
它。
python 参数通过的 argparse
接收,在 notebook 中写个多重循环遍历参数组合传给 python 程序自动运行。
记录一个简例。
Codes
test_dir
|- test.py
|- test.ipynb
in py file
# test.py
import argparse
parser = argparse.ArgumentParser()
parser.add_argument('--number', type=int, default=0, help='number')
parser.add_argument('--string', type=str, default='abc', help='string')
args = parser.parse_args()
print('number:', args.number, type(args.number))
print('string:', args.string, type(args.string))
in notebook
# test.ipynb
for i in range(3):
for s in ('a', 'b', 'c'):
%run test.py --number $i --string $s