Train (Đào tạo, máy học) các đối tượng tùy chỉnh sử dụng Tensorflow - Phần 2

Đây là bài viết tiếp theo Phần 1 Train Object Tensorflow Trong phần này chúng ta sẽ hoàn thiện chương trình train đối tượng tùy chỉnh dùng Tensorflow.

Bước tiếp theo: Trong phần này chúng ta sẽ đào tạo mô hình(model) phát hiện đối tượng của chúng ta để phát hiện đối tượng tùy chỉnh . Để làm được điều này, chúng ta cần các hình ảnh, kết hợp TFRecords cho dữ liệu đào tạo và thử nghiệm, và sau đó chúng ta cần phải thiết lập cấu hình của mô hình(model), sau đó chúng ta có thể đào tạo(train). Điều đó có nghĩa là chúng ta cần phải thiết lập một tệp cấu hình.

Ở đây, chúng ta có hai lựa chọn. Chúng ta có thể sử dụng một mô hình đã được đào tạo trước(pre-train model) và sau đó sử dụng phương pháp chuyển tiếp để học(learn) một vật mới hoặc chúng ta có thể học các vật mới hoàn toàn từ đầu. Lợi ích của việc chuyển tiếp học(transfer learning) là việc đào tạo có thể nhanh hơn nhiều, và dữ liệu cần thiết mà bạn cần là ít hơn. Vì lý do này, chúng ta sẽ dung transfer learning o day.

TensorFlow có khá nhiều pre-train models với các file điểm kiểm soát có sẵn , cùng với các files cấu hình. Bạn có thể tự mình làm tất cả những điều này nếu muốn bằng cách xem tài liệu về công việc cấu hình của họ. Đối tượng API cũng cung cấp một số cấu hình mẫu để lựa chọn.

Chúng ta sẽ làm với mobilenet, sử dụng các điểm kiểm tra và tập tin cấu hình sau đây

Đặt cấu hình trong thư mục training, và giải nén ssd_mobilenet_v1 trong thư mục models/object_detection. Trong tệp cấu hình, bạn cần phải tìm kiếm tất cả các điểm PATH_TO_BE_CONFIGURED và thay đổi chúng. Bạn cũng có thể muốn thay đổi kích thước batch. Hiện tại, nó được thiết lập là 24 trong tập tin cấu hình của tôi.

Các mô hình khác có thể có kích cỡ batch khác nhau. Nếu bạn gặp lỗi bộ nhớ, bạn có thể thử giảm kích thước batch để mô hình phù hợp với VRAM của bạn. Cuối cùng, bạn cũng cần thay đổi tên checkpoint /path, num_classes thành 1, num_examples thanh12, và label_map_path: "training / object-detect.pbtxt".

Đó là một số chỉnh sửa, đây là tệp cấu hình đầy đủ của tôi:

# SSD with Mobilenet v1, configured for the mac-n-cheese dataset.
# Users should configure the fine_tune_checkpoint field in the train config as
# well as the label_map_path and input_path fields in the train_input_reader and
# eval_input_reader. Search for "${YOUR_GCS_BUCKET}" to find the fields that
# should be configured.

model {
  ssd {
    num_classes: 1
    box_coder {
      faster_rcnn_box_coder {
        y_scale: 10.0
        x_scale: 10.0
        height_scale: 5.0
        width_scale: 5.0
      }
    }
    matcher {
      argmax_matcher {
        matched_threshold: 0.5
        unmatched_threshold: 0.5
        ignore_thresholds: false
        negatives_lower_than_unmatched: true
        force_match_for_each_row: true
      }
    }
    similarity_calculator {
      iou_similarity {
      }
    }
    anchor_generator {
      ssd_anchor_generator {
        num_layers: 6
        min_scale: 0.2
        max_scale: 0.95
        aspect_ratios: 1.0
        aspect_ratios: 2.0
        aspect_ratios: 0.5
        aspect_ratios: 3.0
        aspect_ratios: 0.3333
      }
    }
    image_resizer {
      fixed_shape_resizer {
        height: 300
        width: 300
      }
    }
    box_predictor {
      convolutional_box_predictor {
        min_depth: 0
        max_depth: 0
        num_layers_before_predictor: 0
        use_dropout: false
        dropout_keep_probability: 0.8
        kernel_size: 1
        box_code_size: 4
        apply_sigmoid_to_scores: false
        conv_hyperparams {
          activation: RELU_6,
          regularizer {
            l2_regularizer {
              weight: 0.00004
            }
          }
          initializer {
            truncated_normal_initializer {
              stddev: 0.03
              mean: 0.0
            }
          }
          batch_norm {
            train: true,
            scale: true,
            center: true,
            decay: 0.9997,
            epsilon: 0.001,
          }
        }
      }
    }
    feature_extractor {
      type: 'ssd_mobilenet_v1'
      min_depth: 16
      depth_multiplier: 1.0
      conv_hyperparams {
        activation: RELU_6,
        regularizer {
          l2_regularizer {
            weight: 0.00004
          }
        }
        initializer {
          truncated_normal_initializer {
            stddev: 0.03
            mean: 0.0
          }
        }
        batch_norm {
          train: true,
          scale: true,
          center: true,
          decay: 0.9997,
          epsilon: 0.001,
        }
      }
    }
    loss {
      classification_loss {
        weighted_sigmoid {
          anchorwise_output: true
        }
      }
      localization_loss {
        weighted_smooth_l1 {
          anchorwise_output: true
        }
      }
      hard_example_miner {
        num_hard_examples: 3000
        iou_threshold: 0.99
        loss_type: CLASSIFICATION
        max_negatives_per_positive: 3
        min_negatives_per_image: 0
      }
      classification_weight: 1.0
      localization_weight: 1.0
    }
    normalize_loss_by_num_matches: true
    post_processing {
      batch_non_max_suppression {
        score_threshold: 1e-8
        iou_threshold: 0.6
        max_detections_per_class: 100
        max_total_detections: 100
      }
      score_converter: SIGMOID
    }
  }
}

train_config: {
  batch_size: 10
  optimizer {
    rms_prop_optimizer: {
      learning_rate: {
        exponential_decay_learning_rate {
          initial_learning_rate: 0.004
          decay_steps: 800720
          decay_factor: 0.95
        }
      }
      momentum_optimizer_value: 0.9
      decay: 0.9
      epsilon: 1.0
    }
  }
  fine_tune_checkpoint: "ssd_mobilenet_v1_coco_11_06_2017/model.ckpt"
  from_detection_checkpoint: true
  data_augmentation_options {
    random_horizontal_flip {
    }
  }
  data_augmentation_options {
    ssd_random_crop {
    }
  }
}

train_input_reader: {
  tf_record_input_reader {
    input_path: "data/train.record"
  }
  label_map_path: "data/object-detection.pbtxt"
}

eval_config: {
  num_examples: 40
}

eval_input_reader: {
  tf_record_input_reader {
    input_path: "data/test.record"
  }
  label_map_path: "training/object-detection.pbtxt"
  shuffle: false
  num_readers: 1
}

bên trong thư mục training , tạo một file tên object-detection.pbtxt: với nội dung

Cài đặt thư viện hỗ trợ cho python và set lại PythonPart. (từ models/research)
Từ thư mục models/object_detection:
Chúng ta sẽ có output:
Tùy thuộc vào GPU của bạn và số lượng dữ liệu đào tạo bạn có, quá trình này sẽ mất một khoảng thời gian khác nhau. Nếu bạn có nhiều dữ liệu đào tạo, có thể mất nhiều thời gian hơn. Bạn muốn loos khoang ~ 1 (hoặc thấp hơn). Chung ta sẽ không ngừng train cho đến khi bạn chắc chắn loss dưới 2. Bạn có thể kiểm tra mô hình làm như thế nào thông qua TensorBoard.

Từ thư mục models/research/object_detection, mở terminal, gõ lệnh để mở log:

Sau đó chúng ta mở link jacky:6006 để theo dõi biểu đồ train

Biểu đồ loss

Ý nghĩa của loss

Ở đây mình không dịch ra tiếng việt vì một số thuật ngữ không biết dịch như thế nào.

"softmax is basically a fancy max function that is derivable (you can lookup the exact definition in the docs). It's going to have high values for the largest activations. It can have multiple high activation and this is going to get penalized for all the wrong ones.

Loss is the the thing that you want the model to optimize down.

This doesn't usually mean much unless you've trained lots of similar models with the exact same loss. Usually you look at the loss graph to see when the model stopped making progress so that you can stop training. Also keep in mind that for other models you will want to add other things to the loss that you might want to optimize (say some input weights that you want to average to 1.0) that will bump up the loss but that doesn't mean the model is worse.

If you want to figure out if your model is good or bad add metrics for the things you care about. The obvious things are precision/recall/accuracy. There's predefined metrics already that you can use (streaming_accuracy). Alternatively you can compute the metric and add it as a summary but that's not going to be available from the eval dataset.

Another option is to setup a model that's obviously bad (constant or random) and compare the loss of that model with what you are getting."

Bước cuối cùng: Export train file và tạo thử project với train file vừa tạo.
Sau khi chạy được khoảng 3 tiếng khi mà train loss vào khoảng 1 chúng ta có thể tắt train và tiến hành export train file.
Chúng ta có thể thấy trong thư mục training sẽ có rất nhiều điểm model checkpoint đã được tạo, và tôi sẽ lấy lần cuối cùng với loss thấp nhất để export ra file train .

Để thực hiện việc export graph file train chúng ta có sẵn file mà tensorflow opensource cung cấp "trong thư mục models/research/object_detection [export_inference_graph.py] " Để chạy scprit này chúng ta cần thực hiện lệnh sau

1> Từ folder: models/research

2> Từ folder: models/research/object_detection

Trong đó "training/model.ckpt-1939" là đường dẫn tới file model train; "ssd_mobilenet_v1_pets.config" là đường dẫn tới file configure
"macNchees_graph" là folder train cuối cùng chúng ta cần export.

Sau khi chạy xong chúng ta nhận được một folder chứa các tập tin đã train cần thiết. Tiếp theo chúng ta sẽ mở một chương trình object detection có sẵn trong thư mục của tensorflow và dùng file train của chúng ta để thử nhận dạng đối tượng.

Ở đây từ file gốc chúng ta cần thay đổi đường dẫn tới train folder:

Và tất nhiên đường dẫn tới ảnh test mình sẽ thay đổi tí xíu tùy vào ảnh mình đặt tên để test thử, ở đây mình đặt là image 3 tới 5

Cuối cùng khi chạy chương trình chúng ta nhận được kết quả như mong muốn, chương trình đã nhận dang được macandcheese

Video hướng dẫn:

Cộng Đồng OpenCV

Top Ad unit 728 × 90

Train (Đào tạo, máy học) các đối tượng tùy chỉnh sử dụng Tensorflow - Phần 2

Không có nhận xét nào:

Cùng Liên Kết - Best Webpage/Tool

Fanpage Facebook

Đang Truy Cập

Lượt truy cập

Tìm Trong Blog

Giới thiệu về tôi

Popular

Lưu trữ Blog

Ads

Quảng Cáo(Click để ủng hộ Admin)

Biểu mẫu liên hệ