+ All Categories
Home > Documents > ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP...

˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP...

Date post: 10-Aug-2021
Category:
Upload: others
View: 0 times
Download: 0 times
Share this document with a friend
36
Brian Bailey Brian Bailey Email: [email protected] Tel: 503 632 7448 Cell: 503 753 6040 Web: brianbailey.us
Transcript
Page 1: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

���������������� � ����������������� � ����������������� � ����������������� � ������������������������������������������������������������������������������������������� ��������������� ��������������� ��������������� �

Brian BaileyBrian BaileyEmail: [email protected]: 503 632 7448Cell: 503 753 6040Web: brianbailey.us

Page 2: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

�������

� ������������� ��

� ��� ������������������

� ����������������

� �� ������� �� �����

� ������ �������� ��

Page 3: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

���������������������

� Verification is all about answering the question:

Have we implemented something correctly ?

����������������������������� � ������������������������� ������������������� ������������������� �

������������������ ��������

Page 4: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

���������������������

� !�"������� �

� ��������������������� #������$���%&������������ �����������������������������

� ���� � �������������������� '������ ��� ������������������������������

� ������������������� � (�� �������� �������� ��������������� ������������������ ������������������

� ������������������� '������ �������������������������� �������)����������������� ������

Page 5: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

Design

������������������ �����

Bug

Stimulus

1. Activate

Propagation failure

Propagation success

Checker

2. Propagate 3. Detect

'�������*#������$���%������ $��������������#������� $������������������� �� ���������������&��������� $����� �)����

+������������ ������ �� �����������%��

Page 6: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

������ ����� �� �������

� (��������������������)����� �������� �� �����&�����,��&�����������

��������������� ��

� -�������������� ���������������������

� .�������������� ������������� ������

� .������������������� ��������������/������������������������� ����� ����0

� (������� �������)�������������� � ���������

� (������� � ����� ��� �� ����� ���������

� 1 ���������������� ������������2���������������������������� � �������������������3

� (�� �������������������&����������������������� ����������������� ���� �

Page 7: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

����������������

� (�� �� ������������ ��������� ��������

� �����������

� 4����������

� 5������������

� ����� ���������

� 6

� 7�����������

� (������������

� ��1��������

� �����

� (�� ���

Page 8: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

����������������

� (�� �������� ������������������������������������������������ ����� �� ������������

� ������������)����� ��� ��

� (����������������� �������)� �8�������$� 9����������

� 9����� �����

� 9� ����

� (������������������������)� �������������������������

� (������������������������������������������������������

Page 9: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

Design

�����������������

Bug

Stimulus

1. Activate

Propagation failure

Propagation success

Checker

!" �������!��������!�����������������!���� ���� �������

"!������#���� ���#�

$� ���� !" �����!����!�#���"����!����#��������������������%&������������

Page 10: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting

����������� �����

� 7�����������

�(�� �� ����� ���������������� �������������

�#���������� ������ ���������������������

��������������������� �������������

����� ����������������

� 4������������ �� �������������������������� �

�:� �������������������� ���������������������

� .���������������������#�����7����� ������� �)� ���������������� �����'+1

Page 11: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting

Design

'��!��������

Bug

Stimulus

1. Activate

Propagation failure

Propagation success

Checker

2. Propagate

!" �������!����������������� �#������! �����!���� ���� �������

$� ���� !" �����!����!�#���"����!����#������������

Page 12: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

������������������( ������" ��

� .������� ��������������������������������)��;� :���������� � �������� ������������������

� ������������������)� �������������)����������������

� 9��������� ������<� ���=������������� >��������������� ������������������

� >��������)������ �����������������������)� ���������

� (�� �����������������)� ���� (������ ������)���)���� �������������������������������������� ���

� ?�� �� ������� � ����

� 5�������� �� �����)��������� �����������

Page 13: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

�����������������

� #������� �������� �������������

� 9�����������

� 9� �������� ����

� 9� ��������� ����

� ���

�#���� �������������������������������� �������

� ������������ ���������������� ����)����� �� ��������

� ������ ����� ��������� ���������� �� ������������

Page 14: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

�����������������

� #��� ����������������������

� :� ��������������������������� &��� ������������� ������ ������������������

� :���������������

� @��������

�>�)������������������

� #������������ � ���������

� �� � ������������������� �������������

� ���� ���������� ���������������

� -������� ������ �����������������

� 9�������������������

� ��) ��)� �������

� 9��� � ������ �� ��� ���

������������������%&������������

Page 15: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

�����

� 9�� ������ �������������������������������������������������

� 7������� �������� ������������������� �������������������)

� 9���������� ����������� ��������� �������������� �����������/����� �0��������� ��

� 5� ����2��������3 ����� � (��������������������������� � :����������

�(�%� ����������������� �� ���� �����

�9��)������,�������%�� �������������������������������������

Page 16: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

�������������

� 1������������� )�� *

� -)�������������� ���� �8������$ ���� ����

� 9 ���� �������� ���-:4

� :���������� � ����������� ��������������������� ����

� .����� ���� ���������

� .� ����������������������

� .� ������ ��������������

� -)������ ��������� ������������� �����)���������� ��

� :��������������������������������������

� ? ������������� ������������������

Page 17: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

�� � ��������������� ��!�

>

>

A�

A�

A�

+��������

-���

1�����

1�����

-���

4)

5�����

;B

;B

1�����

-���

4)

�������

�� �����1�����1������������

9��� � #�����

���

� ����

�������

� �����������

:������������-���-���9 ����

1������#��4)4)(����

1������#��4)4)7���

:��������#��4)4)���

)�*��������" ������ �� ��������

Page 18: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

������'��������

� 7�����������

� 9����������%�����������

� +��+1 �+� ����������=�� ��������+������ 1����� �0

� � ������������������������� ������ � ����� !

� ������ ������������������������������������������)����������������

� :���������� ��������C �������� �����������

� 7 �������������������� ������ ��

� #���� ������ ��� ���&���� ����� ������ ��������������������������� �����������

Page 19: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

�������� ���

� >�� *� ��) ����������� �)���������������������������������������

� ��) ������������������������������� � �� �������������� (�� �� ������)�)��������������

� �����������)������������� �������� �)������%����� ������)� �

Page 20: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

'���������( ������������ �

� ������������������������ �

� 4% ������������������� � �����������

� ����%=�������� *�)���������������� �������������������� ��������� ;

� 1������������������� �����)������� � *

� �������������� ��������� �)��������������� ��� ���������������

� ��������� ��������� ����� �� ����������� ������������ ������ �� ��� � � �����������������������

� 7���������������������������

� �����������������DEFD

� ��� �������������������DEGH

Page 21: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

������������ �

� Principles� Induce mutations (or faults) in the HDL code and

show that the verification suite detects those mutations by executing testcases

Original program code:a = b or c;

Faulty program code:a = b and c;

Page 22: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting ��

+�������� ������

� ���������������

� '������������5���� ������� � )�������� ������ �

� '������������������������������)�����������&�� � �I�)����B&�= ���<

� '������������5�����������)�����������&�� � �J�)����JK&�KK����LK

� '���������������������)���������������������������������� ���� ����/������������� � ������������ ���0

Page 23: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting ��

������������� �

� 7����� ��������� ������������������������� �

� 9���� � �==

� #������$���%������ $��������������

� 5�����C

� #������� $������������������� �� ���������������&��������� $����� �)����

� (�� �� ����� ����� ��������������� �

� #��� �������������%)������ �������)� ���������

� 1� ���������������������������)� �������

Page 24: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting ��

$�������

� (���-���@����;

� ������������������������������������������ � ��������&�������������������;

� # �������������������������������������� ���� ������ ������������;

� +������ �������������� ���������M��������������������

Page 25: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting ��

����������,�����������

� 5� ��������������� �

� ����������������� *

� ��������M����������������� ���������������� � ��������������������������������� �����������%������ ������������ ������ ��� ������

� ���������������������� ������������������������������������ �:�������� ����� �)��������� ����

� ? � ��������������������������� � ����� �������������������� ��� ��� ���

� 9�������������)����� ������� ��)���

Page 26: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

��© Certess, Inc. – 2008

Report

Detect phase

Report

Report

Static analysis of the design

Analysis of the verification environment behavior

Measure the ability of the verification environment to detect mutations

Iterate if needed

Qualification Steps

Model phase

Activate phase

Page 27: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting ��

,������������ ���

� 1����7�� �

� ����������� � �������������������������������� ��������

� 9��������7�� �

� �������)������� � ����������)����������

� :������7�� �

� 7�����������)���� ������������� ���������� ��� ���������� ��� �

Page 28: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting ��

,��������������"

(�����)��� ����� *

D #����������� ���������� ������� ������������������������� �

� 5������������������������������������

N '��������� ��� ��������� �������������������������������� ��

! ������������������������������

O #����������� ������������������������,���)������ ����%�����������������

P ����������� �� ������� ��� � ������������ �����������

F #����������� ���������� ��� ������������������� �� ���)������ ���%������������

G #�������� ��� ������ ������� ����E��� ���� ����F

E '������� ����O������ �� �������������������)��%� � ��������������

Page 29: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting ��

� � �������� ���(� �

��� �Q����������*������������,�R��������K�DR<<��� ��������� ���QG� �� ��������������� ���QG�K�DRS/� �������%0R����%/��������&D&����������0R�� ���QG�K�HR<<��� ��������� ���Q� �� ��������������� ���Q� K�DRS/� �������%0R����%/��������&D&����������0R�� ���Q� K�HR�� R��

� ������������K�������;�/�����)0�*�DT�HR�

-+.

� ���������������/���������0������������0��������� ���120�������� ���1�0����������#��0����������������34

��� �����"0������4

��"�� �5/� ��������3�#�������/������&&�67#63�#����������" �8&�67#94���������8&�67#94����� ��#�������/�� ���12�&&�67#63�#���������" �8&�67#64������/�� ���1� &&�67#63�#����������8&�67#64������

���

� ��������������&����#����/�����"3�:�6;#94

�!�����

�� ���!���4������ �����4������������4������<299:9=� �����4#������/ ����� %&�������3�#����>�� ����/>��� �0?� @���:�@���������A ���#��A#�#���� �

A#?0 �����0������0 �����34>���� !4����������� �

Page 30: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

-� ���

Page 31: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting �

��������!���� ���������� �#���!#�������(� �

��� �Q����������*������������,�R��������K�DR<<��� ��������� ���QG�������� ��������������� ���QG�K�DRS/� �������%0R����%/��������&D&����������0R�� ���QG�K�HR<<��� ��� �����������*�����������������������)��������)���<<��������� � <<�����=J������K�DRS/� �������%0R������K�HR<<�����L=<<��� ��������� ���Q� ������� ��������������� ���Q� K�DRS/� �������%0R����%/��������&D&����������0R�� ���Q� K�HR�� R��

�����!��-+.

� ��������������&����#�����/�����" �B������3�:�67#94

�����!���!����������!���!����������!���!����������!���!�����

��/ ����� %&&�������3�#����>�� ����/>��� �0?� @���:�@���������A ���#��A#�#���� �

A#?0 �����0������0 �����34

Page 32: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

���������������������:� ���#7DAC’2008 - Anaheim

����������������� �����������

Global MetricRepresenting the overall quality of the Verification EnvironmentST reference : 75%, but usually higher

Activation ScoreMeasures the ability of the test suite to exercise all the RTL of the IPSimilar to code coverageST reference : 95%, & 100% explainedMissing % should deeply studied & fixed or explained

Propagation ScoreMeasures the ability of the test suite to propagate mutations to the outputs of the IPST reference : 80%, but should probably be enhanced by adding more test scenarios to reach 90%

Detection ScoreMeasures the ability of the environment to catch errorsST reference : 90%, but usually higher

Page 33: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

���������������������:� ���#7DAC’2008 - Anaheim

�������������������������� ���������������

• Case study 1:• Application: 3rd party IP• HDL Directed Environment• ~300 tests, 30 minutes• Code Coverage ~100%

• Challenges• Convince 3rd Party IP provider • High revenue, high visibility chip;

reduce respin risk

• Results• Helped us to push IP provider to improve verification environment

• and monitor progress • Low detection score highlighted manual waveform checks

60%65%70%75%80%85%90%95%

Activation Score (A/F)

Propagation Score (P/A)

Global Metric (D/F)

Detection Score (D/P)

ST Ref

ST Avg

3rd Party IP

IP ST Ref ST Avg 3rd Party IPActivation Score (A/F) 95% 97% 97%Propagation Score (P/A) 80% 90% 80%Global Metric (D/F) 75% 80% 66%Detection Score (D/P) 90% 93% 85%

Page 34: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting ��

�����������!���������� ���

� (�� ������������ � ���� ��� ����������� ������� �����

� #��� ����������������� ��

� (�� ���%� ���������������� ���������������������

� #51���������� ���������������������� ��%������� �������������� � ������ ��������������������������

� 9����� ���������������� ���������������� �� ������������������������� ���� ���� ����������

Page 35: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

Copyright © 2008 Brian Bailey Consulting ��

-�� �������C ��

� 7���������)������)�� ������� ��

� #��� ���������)����������������������

� '+#������������ ������� �����

� ��������� � ��������� �������

� ��������,�������������

� .������������������������ ������������ ���������� ��

� :����������� �������������� ����������� ��

� 4� � �����)���� ���������������������

� 5� ��� ��������

� ������������� ��������������� ������������%

Page 36: ˘ ˇ ˆ - IBMDAC’2008 - Anaheim #7 ˘ ˇ ˆ ˙ • Case study 1: • Application: 3rd party IP • HDL Directed Environment • ~300 tests, 30 minutes • Code Coverage ~100% •

+!����D�

,�� ��� �

�����*�����Q������S��� ��(��*�����OHN�PN��F!!G����*����OHN�FON�PH!H.��*������������� �


Recommended