英文语境下用BERT做CoLA任务Fine

英文语境下用BERT做CoLA任务Fine

一、运行环境和简介

CUDA=10.1

CUDNN=7.6.5

python=3.6.5

anaconda=3 5.2.0

tensorflow-gpu=1.13.1

conda install tensorflow-gpu=1.13.1 一句话完成环境搭建

CoLA任务是GLUE里面的其中一项，二分类语法错误的任务。

二、运行demo

在你下载好所有的预训练权重以后

让我们来做一次MRPC任务评估

运行指令：打开评估

python run_classfier.py 
--task_name=MRPC 
--do_eval=true 
--data_dir=你的MRPC数据目录 
--vocab_file=你的预训练权重词表文件 
--bert_config_file=你的预训练权重配置文件 
--init_checkpoint=你的预训练权重文件复制过来后把这里的.cpkt后边删掉文件里面的名字不要动 
--max_seq_length=128 
--train_batch_size=32 
--learning_tae=2e-5 
--num_train_epochs=3.0 
--output_dir=./tmp/mrpc_output/

检查能否正常执行、输出目录有无评估结果。

三、fine-tuning

RTX2080的显存8G

使用GLUE里面的CoLA自带训练数据，打开训练，打开评估，打开预测

python run_classfier.py 
--task_name=cola 
--do_train=true 
--do_predict=true 
--do_ev