Neutron重试操作

在neutron.db.api模块内部有一个修饰符叫做“retry_if_session_inactive”。其应用于保护所有执行DB操作的方法。此修饰符将获取它所保护的方法抛出的任何的死锁错误、RetryRequests、连接错误和单一限制破坏。

如果应用的方法在活动会话中调用,此修饰符不会重试操作。这是因为它捕获的大多数异常将会话部分的转到回滚状态,以至于其不再可用。重要的是保证有一个处于事务开始之外的修饰符。如果方法在另外一个事务中被调用,此修饰符可进行嵌套。

如果被包含的方法,没有使用上下文作为参数,“retry_db_errors”描述符方法可被使用。其重试相同的异常,并且与“retry_if_session_active”具有相同的反嵌套行为,但是其不检查会话是否连接了任何上下文关键字(“retry_if_session_active”在检查完会话之后,内部只是使用“retry_db_errors”)。

失败时的等幂性 Idempotency on Failures

当遇到异常时,被修饰的方法应当总是执行清空,以便可安全的重试操作。所以如果一个方法创建DB对象、提交、之后创建另一个对象,如果第二个失败,方法必须清除第一个创建的DB对象。假设任何DB操作都可抛出可重试的错误。

你也许能看到Neutron内的API 层的重试修饰符。尽管如此,我们试着消除它们,因为每个API操作有着许多独立的步骤,是的保证在部分失败上的等幂性非常困难。

参数突变 Argument Mutation

一个修饰的函数不应改变传入的复杂参数。如果改变,应由异常处理函数可反转此改变,以便可安全的进行重试操作。

修饰符将自动的创建通过它传入的sets、lists和dicts的深度拷贝,但是它不处理其它的参数。

尝试处理竞争条件 Race Conditions

检测带有单个限制来创建DB记录的竞争条件的困难之一是,要决定在哪里放置异常处理函数,因为限制违规可能在flush时立即发生,或者直到在会话上下文管理器退出时事务被提交之后才发生。所以最终我们实现的代码类似与如下:

  def create_port(context, ip_address, mac_address):
      _ensure_mac_not_in_use(context, mac_address)
      _ensure_ip_not_in_use(context, ip_address)
      try:
          with context.session.begin():
             port_obj = Port(ip=ip_address, mac=mac_address)
             do_expensive_thing(...)
             do_extra_other_thing(...)
             return port_obj
      except DBDuplicateEntry as e:
          # code to parse columns
          if 'mac' in e.columns:
              raise MacInUse(mac_address)
          if 'ip' in e.columns:
              raise IPAddressInUse(ip)

  def _ensure_mac_not_in_use(context, mac):
      if context.session.query(Port).filter_by(mac=mac).count():
          raise MacInUse(mac)

  def _ensure_ip_not_in_use(context, ip):
      if context.session.query(Port).filter_by(ip=ip).count():
          raise IPAddressInUse(ip)

所以,我们实现的异常处理函数,需要理解事情出错在哪里,并将其转为对最终用户而言合适的异常。这明显偏离了创建端口的主要目的。

既然重试修饰符将自动为我们捕获并重试DB重复错误,我们可允许它在竞争条件上重试,其将授予原始的验证逻辑去重新执行,并触发合适的错误。这将保持验证逻辑处于一个地方,是代码更简洁。

  from neutron.db import api as db_api

  @db_api.retry_if_session_inactive()
  def create_port(context, ip_address, mac_address):
      _ensure_mac_not_in_use(context, mac_address)
      _ensure_ip_not_in_use(context, ip_address)
      with context.session.begin():
         port_obj = Port(ip=ip_address, mac=mac_address)
         do_expensive_thing(...)
         do_extra_other_thing(...)
         return port_obj

  def _ensure_mac_not_in_use(context, mac):
      if context.session.query(Port).filter_by(mac=mac).count():
          raise MacInUse(mac)

  def _ensure_ip_not_in_use(context, ip):
      if context.session.query(Port).filter_by(ip=ip).count():
          raise IPAddressInUse(ip)

嵌套

一旦修饰符尝试某个操作到了最大次数,它将关联一个标记到此其触发的异常,后续可避免此调用方法修饰符再次尝试错误。此阻止了重试次数的指数级增长,如果它们是分层结构的。

用法

这里有一些使用示例:

  from neutron.db import api as db_api

  @db_api.retry_if_session_inactive()
  def create_elephant(context, elephant_details):
      ....

  @db_api.retry_if_session_inactive()
  def atomic_bulk_create_elephants(context, elephants):
      with context.session.begin():
          for elephant in elephants:
              # note that if create_elephant throws a retriable
              # exception, the decorator around it will not retry
              # because the session is active. The decorator around
              # atomic_bulk_create_elephants will be responsible for
              # retrying the entire operation.
              create_elephant(context, elephant)

  # sample usage when session is attached to a var other than 'context'
  @db_api.retry_if_session_inactive(context_var_name='ctx')
  def some_function(ctx):
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 编程工作室 设计师:CSDN官方博客 返回首页