Post on 10-Sep-2018
transcript
GDR SoC-IP | 1
A TOOL-CHAIN FOR FUNCTIONAL SAFETY AND
RELIABILITY IMPROVEMENT IN AUTMOTIVE
SYSTEMS
https://equitas-project.com/site/
R. Nouacer, M. Djemal, S. Niar, G. Mouchard, N. Rapin, J.P. Gallois, P. Fiani, F. Chastrette, T. Adriano and B. Mac-Eachen
reda.nouacer@cea.fr
smail.niar@univ-valenciennes.fr
Bpifrance AAP FUI16 and the General Council of Essonne France
GDR SoC IP | 2
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
AGENDA
! Context and Trends
! Objectives and Results
! Methodology and tools ! Technical challenges ! Automatic test generation ! Analysis and verification of compliance with the requirements ! Virtual platforms and HW faults injection
! Current status – Tools chain V2
! Next works
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 3
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
CONTEXT AND TRENDS ! µElectronic Miniaturization
! Increased sensitivity of ECU to transient hardware faults
! Increased number of functions ! 10-100 ECU (distributed system)
! Hostile operating environment ! Electromagnetic fields, temperature, humidity
! ISO26262 standard ! Safety constraints (product and process)
! Embedded software V&V ! Complex iterative process!! 40-50% total development cost
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
ExigencesVérification0des0
exigences
Allo
catio
n0et0Validation0de
s0ex
igen
ces
RP
Système cible
MIL: Model In the LoopRP : Rapid PrototypingSIL : Software-in-the-LoopPIL : Processor-in-the-LoopHIL : Hardware-in-the LoopMIL
SIL
PIL
HIL
GDR SoC IP | 4
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
monitoring(and(control((system(e.g.(BCM)
Physical(system(e.g.(USM)
Analysis(and(decision
Driven(process(e.g.(Wiper(blades)
Inputs(e.g.(CAN,(ADC)
Outputs(e.g.(CAN,(PWM)
Measurements(/(Interruptions
Commands(/(Actions
Sensors Actuators
Instructions(e.g.(windshield(wiper("commodo")
Disturbances((e.g.(Dirt,(wind,(age,(T°C,(magnetic(field)
BLOC DIAGRAM OF CONTROL LOOP
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 5
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
FUNCTIONAL SAFETY AND RELIABILITY ANALYSIS
Test Bench Embedded
System Data
Analyzer
Reliability Model
Tolerance Scenarios
Fault Scenarios
Injection
Reference
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 6
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
OBJECTIVES AND RESULTS ! Automate the verification and validation process of whole
embedded software stacks ! By developing a continuous tool-chain ! In the context of automotive electronic systems
! Improve the relevance of the test campaigns ! By detecting the redundant tests using equivalence classes
! Provide assistance to the hardware failure effect analysis (FMEA) ! By introducing a hardware faults model during simulation.
! Extract a comprehensive V&V methodology using virtual platforms ! By assessing the EQUITAS tool chain on real automotive use cases
! Assess the tool-chain under the ISO 26262 requirements.
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 7
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout Modèle'de'test
Modèle'comportemental
MaTeLo &'DIVERSITY Scénarios'de'test
UNISIM>VP'&'Fautes'Matérielles
Environnement'physique
Exigences
Verdicts
ARTiMon(Checkers)
Traces'd’exécution
Moteur'd’exécution'des'scénarios
Driver
Driver
Driver
Driver
Séquenceur
Observateurs'de'propriétés'(Monitors)
Observer
Observer
Observer
Observer
Trace1collector
CAN,1ADC,.
CAN,1PWM,.
Environnement'de'test
[ Driver'='Adapter +'Controller']
VIRTUAL TESTING ENVIRONMENT
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 8
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
METHODOLOGY & TOOLS
Verdict
Analysis
VirtualExecution
Compilation
Test PlanElaboration
Tool-chain Inputs
Code Generation
System ModelSource Code
Test Cases Generation RequirementsTranslation
Tests CasesEmbedded Code Formal Constraints
Embedded Target Simulation
Execution Traces
Alerts
Requirements Verifications & Analysis
EnvironmentSimulation
Environment Model
Compilation
Executable Binary
SystemRequirements
!
DIVERSITY & MaTeLo
UNISIM-VP & PhiSim
ARTiMon
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 9
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
TECHNICAL CHALLENGES ! The use of symbolic execution principle to analyze and reduce
test cases obtained by a stochastic approach ! MaTeLo: stochastic test generation technique ⇒!Generate!the!most!likely!tests!
⇒!Many!redundant/duplicate!tests!
⇒!Developped!by!ALL4TEC!(h@p://www.all4tec.net/MaTeLo/homematelo.html) ! DIVERSITY: symbolic execution ⇒!Model!validaEon!by!analyzing!its!symbolic!execuEon!tree!
⇒!Property!verificaEon!
⇒!AutomaEc!test!generaEon!based!mainly!on!the!paths!coverage!
⇒!Developed!by!CEA!LIST!(h@p://projects.eclipse.org/proposals/diversity)!
! The extension of the simulation environment UNISIM-VP ! Modeling and injection of characterised hardware faults ! Interface to test cases generation tools (MaTeLo & DIVERSITY) ! Interface to compliance (monitoring) analysis tool (ARTiMon)
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 10
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
FUNCTIONAL SAFETY AND RELIABILITY ANALYSIS
Test Bench Embedded
System Data
Analyzer
Reliability Model
Tolerance Scenarios
Fault Scenarios
Injection
Reference
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 11
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
MATELO OVERVIEW 1) Graphical Design 2) Test Case Generation
3) Test Script Generation
4) Coverage Report
AUTOMATIC TEST GENERATION AUTOMATIC TEST GENERATION
1 2
3
4
http://www.all4tec.net/MaTeLo/homematelo.html
GDR SoC IP | 12
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
DIVERSITY - METHODOLOGY
Specification
Test cases « numeric scenarios »
Specification model Simulation
Behavior tree
Specification correctness
Specification Requirements
Functional model « Black box »
Modeling Environment
Conformance testing
1
2
3 4
AUTOMATIC TEST GENERATION AUTOMATIC TEST GENERATION
GDR SoC IP | 13
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
Use case
Test model
Application model (Simulink)
Test model editor (MaTeLo)
Stochastic test generation (MaTeLo)
MaTeLo test campaign
Transcription to xLIA (Diversity)
Use case model xLIA
MaTeLo tests analysis using
symbolic execution
(Diversity)
Reduced MaTeLo test campaign
Generation of the test campaign
scripts for driving simulation
Test model « MaTeLo format »
! Remove duplicates (40%) ⇒!Preserving!soNware!reliability!
⇒!Enhancing!test!coverage!
! Reduction of overall test length ⇒!Reducing!duraEon!of!test!execuEon!
⇒!Reducing!cost!
⇒!Preserving!same!test!coverage!
AUTOMATIC TEST GENERATION AUTOMATIC TEST GENERATION
COUPLING DIVERSITY AND MATELO
GDR SoC IP | 14
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
FUNCTIONAL SAFETY AND RELIABILITY ANALYSIS
Test Bench Embedded
System Data
Analyzer
Reliability Model
Tolerance Scenarios
Fault Scenarios
Injection
Reference
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 15
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
ARTIMON: ADVANCED REAL TIME INFORMATION MONITORING ! Provides a temporized logic based language
! To express requirements about system real-time behavior
! Transforms a set of requirements into operational detectors ! For the simulation/execution environment
System ARTiMon
S-Function
HTML Report
Detection signal
x y
Alarm x2 +y > z
RedZone
Switch_On
An invariant (a property that should be valid at any time): when (Switch_On and (it is always the case that Redzone holds on time range [-3,0])) then (there exists at least one occurrence of Alarm on time range [0,1.5])
ARTiMon 4 Simulink:
System.mdl
ANALYSIS AND VERIFICATION OF COMPLIANCE ANALYSIS AND VERIFICATION OF COMPLIANCE
GDR SoC IP | 16
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
FUNCTIONAL SAFETY AND RELIABILITY ANALYSIS
Test Bench Embedded
System Data
Analyzer
Reliability Model
Tolerance Scenarios
Fault Scenarios
Injection
Reference
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC IP | 17
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
COMPONENT-BASED VIRTUALIZATION ENVIRONMENT
! Co-simulation ! Test-bench
database ! Existing tool-
chains
Services Virtual Platform Third Party Tools
UNISIM-VP Embedded target simulation
! System on Chip ! Boards ! SystemC/TLM
! Debugger ! Test ! Monitor ! Trace analysis ! Profiling ! HW fault injection
UNISIM – VIRTUAL PLATFORM UNISIM – VIRTUAL PLATFORM
https://unisim-vp.org/site/index.html
GDR SoC IP | 18
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
S-Rec. Loader
Debugger
CPU12X ELF Loader
Third Party Tools Stubs
RAM FLASH
EEPROM
UNISIM-VP S12XEP100
Board Simulator
.abs ELF binary
.s19 S-Rec. binary
AUTOSAR BSW+RTE
S12XEP100 Board
STAR12X – AUTOMOTIVE APPLICATION
XGATE
MMC
ATDx SCI PWM SPI CANx
CRG PIT XINT ECT
UNISIM – VIRTUAL PLATFORM UNISIM – VIRTUAL PLATFORM
GDR SoC IP | 19
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
TEST CASE ENHANCED WITH HARDWARE FAULT INJECTION
Requirements+file Application
Fault+quantifier
Fault+probability+of+occurrence P
Fault+injection+engine+&+simulation
(UNISIM?VP)
Execution+trace+(code/data)+with+faults
Reference+execution+trace+(code/data)
Comparator+and+analyzer+of+
execution+traces
Alert?
silenceNo
YesReliability+quantifier?! Fault'effects'analysis! Corrective'Decisions! Compute'error'ratio'(MTTF)'
Test+scenarios(MaTeLo)
Hardware+target
UNISIM – VIRTUAL PLATFORM UNISIM – VIRTUAL PLATFORM
GDR SoC IP | 20
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
FAULT INJECTION STRATEGY
GDR SoC IP | 21
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
Use case
Test model
Application model (Simulink)
System properties and requirements (test objectives)
Test model editor (MaTeLo)
Stochastic test generation (MaTeLo)
MaTeLo test campaign
Translation to xLIA (Diversity)
Use case model xLIA
MaTeLo tests analysis using
symbolic execution
(Diversity) Reduced MaTeLo
test campaign
Generation of the test campaign
scripts for driving UNISIM-VP &
Simulink (MaTeLo)
Test model « MaTeLo format »
Test campaign in the standardized
interpretable format
Execution trace
Binary Code
Translation as monitoring
specification (ARTiMon)
ARTiMon specifications
Compliancy analysis (ARTiMon) Verdicts
Simulation Embedded system +Simulink (Sys) +UNISIM-VP +HW Faults
Physical system +PhiSim
TOOLS CHAIN TOOLS CHAIN
GDR SoC IP | 22
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
WINDSHIELD WIPER
USE CASE USE CASE
GDR SoC IP | 23
Pour personnaliser « nom événement et auteur » :
« Insertion / En-tête et pied
de page »
Personnaliser la zone de de pied de page
Cliquer sur appliquer partout
NEXT WORKS ! Studying the compliancy of the EQUITAS toolchain with the
ISO26262 standard.
! Quantitative and qualitative assessment of the toolchain, by the project industrial partners.
! Generalization of project activities ! Distributed embedded systems ! Heterogeneous (model, ASW, binary) validation and verification
! Extension of EQUITAS toolchain ! RAMS analysis (Reliability, Availability, Maintainability, Safety)
ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS ENHANCED QUALITY USING INTENSIVE TEST AND ANALYSIS ON SIMULATORS
GDR SoC-IP | 24
A TOOL-CHAIN FOR FUNCTIONAL SAFETY AND
RELIABILITY IMPROVEMENT IN AUTMOTIVE
SYSTEMS
https://equitas-project.com/site/
R. Nouacer, M. Djemal, S. Niar, G. Mouchard, N. Rapin, J.P. Gallois, P. Fiani, F. Chastrette, T. Adriano and B. Mac-Eachen
reda.nouacer@cea.fr
Bpifrance AAP FUI16 and the General Council of Essonne France